خطرات پنهان کار گروهی هوش مصنوعی؛ چرا همکاری تیمی ایجنت‌ها در شرکت‌ها نگران‌کننده است؟

سم آلتمن، مدیرعامل OpenAI، در جریان سخنرانی اصلی کنفرانس توسعه‌دهندگان این شرکت در سان‌فرانسیسکو، از دستیاران شخصی جدید مبتنی بر هوش مصنوعی با نام «dots» برای رقابت با مدل Muse شرکت متا رونمایی کرد.

ایجنت‌های هوش مصنوعی بارها هنگام دور زدن محدودیت‌ها، برقراری ارتباط از مسیرهای غیرمجاز و دنبال کردن اهدافی به شیوه‌های پیش‌بینی‌نشده توسط سازندگانشان غافلگیر شده‌اند. برجسته‌ترین نمونه از این دست، تابستان گذشته رخ داد؛ زمانی که OpenAI فاش کرد مدل‌هایش راه‌هایی برای ارتباط از طریق کانال‌های دست‌ساز پیدا کرده‌اند، محدودیت‌های دسترسی به اینترنت را دور زده‌اند و حتی به یک سیستم بیرونی به نام Hugging Face نفوذ کرده‌اند.

رفتارهای غیرمنتظره هوش مصنوعی اتفاق تازه‌ای نیست، اما بروز رفتارهای پیش‌بینی‌نشده بر اثر تعامل میان ایجنت‌های مجاز درون یک سازمان تجاری، مسئله‌ای بسیار گسترده‌تر است که می‌تواند نقشی محوری در آینده کار و اتوماسیون ایفا کند.

موسسه METR و شرکت Redwood Research در تحلیل خود از حمله به Hugging Face دریافتند که نزدیک به ۱۲۰۰ ایجنت که قرار بود کاملاً از یکدیگر ایزوله باشند، راهی برای گفتگو در یک تالار گفتگوی غیرمجاز پیدا کردند و در طول دوره بررسی، بیش از ۷۰ هزار پیام و فایل میان خود ردوبدل کردند. در این میان، یک ایجنت به نام PHASEONE[big] نقش هماهنگ‌کننده را بر عهده گرفت و صدها وظیفه را به ایجنت‌های دیگر محول کرد که آنها نیز به‌نوبه خود کارها را میان بقیه تقسیم کردند. این ایجنت‌ها قواعد اختصاصی خود را برای تعیین مالکیت وظایف، به تعویق انداختن کارها و حتی وتو کردن اقدامات شکل دادند، هرچند این هماهنگی‌ها گاهی به تعارض و اختلاف منجر می‌شد. پژوهشگران دریافتند که در برخی موارد، موفقیت زمانی به دست آمد که بعضی از ایجنت‌ها ریسک شکست در وظیفه فردی خود را پذیرفتند تا اطلاعات مورد نیاز «گروه» را فراهم کنند.

پژوهشگران هم‌چنین دریافتند که به محض شناسایی راه نفوذ به پلتفرم Hugging Face در تالار گفتگو، بیش از ۹۰ درصد از ۵۳۳ ایجنت فعال در آن زمان بلافاصله به این حمله پیوستند. به گفته محققان، ایجنت‌ها با اینکه متوجه شدند این فعالیت خارج از چارچوب تعیین‌شده و غیراخلاقی است، به این دلیل ملحق شدند که معتقد بودند کمک به فعالیت خلاف قانون در تالار گفتگو به‌طور کلی سودمند خواهد بود و تمایلی عمومی برای یاری رساندن به «همتایان» خود داشتند. پژوهشگران اضافه کردند که ملاحظات و دغدغه‌های اخلاقی مطرح‌شده توسط ایجنت‌ها، تقریباً هرگز مانع رفتار آنها نشد.

شرکت‌ها روزبه‌روز بیشتر به سمت سیستم‌هایی حرکت می‌کنند که وظایف پیچیده را میان ایجنت‌های تخصصی تقسیم می‌کنند. برای نمونه، یک ایجنت ممکن است اطلاعات را جستجو کند، ایجنت دیگری به تحلیل آن بپردازد، سومی گزارش را بنویسد و ایجنت چهارم درستی کار را بازبینی کند. در نهایت نیز یک ایجنت هماهنگ‌کننده نتایج را گردهم می‌آورد. چنین ساختاری کمتر شبیه به یک چت‌بات معمولی و بیشتر شبیه به یک سازمان واقعی است.

با این حال، بررسی حمله به Hugging Face در واقع کالبدشکافی سازمانی از ایجنت‌ها بود که اصلاً قرار نبود وجود داشته باشد. تا امروز، مطالعات اندکی از ابتدا برای سنجش رفتارهای ناهماهنگ در سیستم‌های چندایجنت طراحی شده بودند، اما پژوهش‌های تازه شرکت Anthropic و سایر محققان به این موضوع پرداخته و ابعاد مهمی از نحوه همکاری ایجنت‌های هوش مصنوعی با یکدیگر را آشکار کرده است.

ارزیابی انفرادی ایجنت‌ها به پژوهشگران نشان می‌دهد هر مدل چه توانمندی‌هایی دارد، اما بررسی جمعی آنها مشخص می‌کند آیا می‌توانند تخصص‌های مکمل را ادغام کنند، خطاهای یکدیگر را پوشش دهند و به راهکارهایی برسند که هیچ مدلی به‌تنهایی قادر به دستیابی به آن نبوده است یا خیر؛ هم‌چنین الگوهای شکستی را آشکار می‌کند که صرفاً در تعاملات تیمی شکل می‌گیرند.

پژوهشگران اکنون در حال ثبت و مستند‌سازی هر دو روی این سکه هستند.

تیم‌های هوش مصنوعی می‌توانند کارهایی انجام دهند که از عهده ایجنت‌های تکی برنمی‌آید، اما هم‌زمان می‌توانند خطاها را تشدید کنند، کار یکدیگر را تخریب نمایند یا تصمیماتی اتخاذ کنند که حتی از ضعیف‌ترین خروجی‌های بهترین عضو گروه هم بدتر باشد؛ وضعیتی که عملاً بازده کل را کمتر از مجموع بخش‌های آن می‌سازد.

در وهله اول، کنار هم قرار دادن ایجنت‌های توانمند لزوماً به خلق بهترین تیم منجر نمی‌شود، چه رسد به اینکه تیمی پایبند به اصول اخلاقی شکل بگیرد.

ارائه غیراخلاقی‌ترین راهکارها در کار گروهی

در پژوهش منتشرشده توسط Anthropic و همکارانش، محققان سیستم‌های چندایجنت را به‌عنوان «سازمان‌های هوش مصنوعی» توصیف می‌کنند؛ یعنی گروه‌هایی از ایجنت‌ها با نقش‌های گوناگون که با یکدیگر در ارتباط هستند و در راستای یک هدف مشترک تلاش می‌کنند. پژوهشگران این سازمان‌ها را در محیط‌های شبیه‌سازی‌شده مشاوره مدیریت و توسعه نرم‌افزار آزمایش کردند تا ارزیابی کنند آیا ایجنت‌ها هنگام کار تیمی برای رسیدن به اهداف تعیین‌شده، قوانین را نقض خواهند کرد یا خیر.

در میان ۱۲ مأموریتی که Anthropic به این سازمان‌های هوش مصنوعی واگذار کرد، یک نتیجه دوگانه و کلیدی به دست آمد: سازمان‌های چندایجنت در دستیابی به اهداف تجاری به‌شکل چشمگیری موثرتر از ایجنت‌های انفرادی عمل کردند، اما راهکارهای ارائه‌شده توسط آنها در مقایسه با ایجنت‌های منفرد، همسویی بسیار کمتری با اهداف و موازین اخلاقی داشت.

نویسندگان این مطالعه که با همکاری Anthropic و برنامه پژوهشی MATS در حوزه همسوسازی هوش مصنوعی انجام شده است، می‌نویسند: «سازمان‌های هوش مصنوعی نه تنها راهکارهایی تولید می‌کنند که به‌طور میانگین کارآمدتر اما کمتر اخلاقی هستند، بلکه در آزمایش‌های متعدد، کارآمدترین و در عین حال غیراخلاقی‌ترین راهکارها را ارائه می‌دهند.»

پژوهشگران اشاره کردند که میان یک ایجنت سرکش و یک تیم سرکش از ایجنت‌ها تفاوت بنیادینی وجود دارد. آنها نتیجه گرفتند: «یافته‌های ما نشان می‌دهد که سازمان‌هایی از ایجنت‌های همسو ممکن است اصول اخلاقی را فدای بازده تجاری کنند، رفتاری که در ایجنت‌های انفرادی دیده نمی‌شود. در نتیجه، درک شهودی ما از نحوه تصمیم‌گیری‌های اخلاقی و اولویت‌بندی‌ها در سیستم‌های تک‌ایجنتی را نمی‌توان به محیط‌های چندایجنت تعمیم داد.»

سناریوهایی که چنین تبادل‌هایی در آنها صورت می‌گیرد بسیار متنوع هستند؛ پژوهشگران Anthropic نمونه‌هایی مانند تأسیس یک کارخانه خودروسازی، تعدیل نیروی سازمانی و تأثیرگذاری بر افکار عمومی در انتخابات را به‌عنوان مثال ذکر کرده‌اند.

مشکل لزوماً این نیست که تک‌تک ایجنت‌ها سرکش شده باشند، بلکه ساختار سازمانی می‌تواند رفتاری کاملاً متفاوت از اعضای منفرد خود بروز دهد. یک ایجنت به‌تنهایی ممکن است غیراخلاقی بودن یک اقدام پیشنهادی را تشخیص داده و از انجام آن سر باز زند، اما بررسی‌ها نشان می‌دهد در سناریوهای تیمی، ایجنت‌هایی که ملاحظات اخلاقی را مد نظر قرار نمی‌دادند، پیام‌ها و هشدارهای ایجنت‌های اخلاق‌مدار را نادیده می‌گرفتند.

پژوهش شرکت Anthropic نشان داد در سناریوهای مشاوره کسب‌وکار، بالاترین امتیاز اخلاقی و کمترین امتیاز تجاری زمانی ثبت می‌شود که ایجنت انفرادی از ارائه پیشنهاد غیراخلاقی خودداری می‌کند یا مسیر طرح درخواستی را کاملاً تغییر می‌دهد.

اما در یک سازمان هوش مصنوعی، اگر برخی ایجنت‌ها از مشارکت در طرح نامناسب امتناع ورزند، سایر ایجنت‌هایی که مایل به انجام کار هستند، ارتباط خود را با ایجنت‌های معترض قطع کرده و تبادل اطلاعات را صرفاً با ایجنت‌های همکار ادامه می‌دهند تا کار پیش برود.

در عمل، وقتی یک سازمان وظایف را میان چند ایجنت تقسیم می‌کند، هر ایجنت ممکن است تنها روی بخش محول‌شده به خود متمرکز شود و پیامدهای کلی طرح را نادیده بگیرد. این پدیده برای شرکت‌ها ناشناخته نیست؛ چراکه تعارض انگیزه‌ها همواره یکی از عوامل اصلی ناکارآمدی در تیم‌های انسانی درون سازمان‌ها به‌شمار می‌رود، اما ظهور این رفتار در میان ماشین‌ها پدیده‌ای کاملاً نوظهور است.

در آزمایش ایجنت‌های توسعه نرم‌افزار، پژوهشگران سناریویی حیاتی در بخش مراقبت‌های ویژه بیمارستان را طراحی کردند. در این شرایط، راهکارهای ایجنت منفرد بر به حداقل رساندن موارد شناسایی‌نشده سپسیس متمرکز بود، در حالی که کم‌هزینه‌ترین راهکارها به ازای هر بیمار که بالاترین بازده تجاری را داشتند توسط سازمان هوش مصنوعی پیشنهاد شدند؛ راهکارهایی که بر اساس تعداد بیماران تشخیص‌داده‌نشده، پایین‌ترین امتیاز اخلاقی را دریافت کردند.

خطر هم‌رأیی کورکورانه و هدررفت تخصص در کار تیمی هوش مصنوعی

بخش دیگری از پژوهش‌های اولیه به نقص دیگری در تیم‌های هوش مصنوعی اشاره دارد که ارتباطی با زیر پا گذاشتن مرزهای اخلاقی ندارد: ناتوانی در تشخیص کارشناس و متخصص واقعی در جمع اعضا.

بر اساس مطالعه‌ای که توسط محققان دانشگاه اموری و دانشگاه استنفورد انجام شد، تیم‌های هوش مصنوعی برخلاف گروه‌های انسانی، حتی زمانی که صراحتاً به آنها گفته می‌شود چه ایجنتی متخصص است، همواره از دستیابی به سطح عملکرد ایجنت متخصص بازمی‌مانند.

هان‌چنگ کائو، استادیار سیستم‌های اطلاعاتی و مدیریت عملیات در دانشکده کسب‌وکار دانشگاه اموری، می‌گوید: «یکی از درس‌های مهم پژوهش‌های چندایجنتی این است که تیمی متشکل از ایجنت‌های توانمند، لزوماً یک تیم توانمند از ایجنت‌های هوش مصنوعی نمی‌سازد.»

گروه‌های ایجنت هوش مصنوعی حتی زمانی که می‌دانستند کدام ایجنت تخصص اصلی را دارد، اغلب عملکرد ضعیف‌تری نسبت به قوی‌ترین عضو گروه ثبت کردند. این ایجنت‌ها به‌جای بهره‌گیری از دانش فرد متخصص، تمایل داشتند میان نظرات متخصص و غیرمتخصص نوعی مصالحه و میانگین‌گیری برقرار کنند. محققان دریافتند که این تمایل به مصالحه با افزایش اندازه تیم بیشتر می‌شود و افت شدید عملکرد را به‌همراه دارد.

کائو در این باره می‌گوید: «شکست‌های جمعی لزوماً نیازی به رفتار بد یا خرابکارانه تک‌تک ایجنت‌ها ندارند.»

این تفاوت برای شرکت‌هایی که قصد به‌کارگیری سیستم‌های چندایجنت را دارند بسیار حائز اهمیت است. یک تیم ممکن است حتی بدون اینکه هیچ‌یک از اعضایش تعمداً علیه منافع گروه عمل کنند با شکست مواجه شود؛ شکست می‌تواند صرفاً ناشی از ترکیب نادرست اطلاعات، ارجاع دادن به ایجنت اشتباه یا توافق روی پاسخی باشد که از بهترین گزینه موجود به مراتب ضعیف‌تر است.

در مجموع، پژوهش‌های در حال توسعه نشان‌دهنده یک چالش بنیادین در استفاده مؤثر از تیم‌های چندایجنتی است: چگونه می‌توان تعادل مناسب را در دنیای کار تیمی ماشین‌ها برقرار کرد؟

ایجنت‌هایی که بر پایه مدل‌های مشابه ساخته شده‌اند ممکن است خطاهای مشابهی مرتکب شوند که شامل توافق و تفاهم بیش از حد نیز می‌شود. این وضعیت می‌تواند به نوعی تفکر گروهی یا هم‌رأیی کورکورانه در هوش مصنوعی بینجامد، حتی اگر سیستم‌های هوش مصنوعی انگیزه‌های انسانی یا فشارهای اجتماعی را برای تکرار خطاهای مشترک نداشته باشند؛ داده‌های آموزشی یکسان، دستورالعمل‌های مشابه و اطلاعات مشترک برای بروز این حالت کاملاً کفایت می‌کند.

کریستوف ریدل، استاد سیستم‌های اطلاعاتی در دانشگاه نورث‌ایسترن، توضیح می‌دهد: «بینش عمیقی که از پژوهش‌های آزمایشگاه ما به دست آمد این است که تیم‌های جمعیِ کارآمد، به همسویی شامل دانش و اهداف مشترک نیاز دارند، اما هم‌زمان به تمایز و تفاوت نیز نیازمندند؛ زیرا تنها ایجنت‌هایی که با یکدیگر تفاوت دارند پتانسیل تکمیل تخصص‌های یکدیگر را خواهند داشت.»

دو ایجنت کاملاً مشابه ممکن است صرفاً کار یکدیگر را تکرار کنند، در حالی که دو ایجنت با پیش‌فرض‌ها یا دانش کاملاً متفاوت شاید در برقراری ارتباط یا پیگیری یک هدف مشترک دچار چالش شوند. دستیابی به تعادل مناسب کاملاً به نوع وظیفه بستگی دارد و ساختار ارتباطی ایده‌آل یعنی اینکه چه ایجنت‌هایی می‌توانند با یکدیگر گفتگو کنند و هر چند وقت یک‌بار و با چه حجمی به تبادل پیام بپردازند، بسته به مسئله تغییر می‌کند.

ریدل معتقد است این چالش‌ها شباهت زیادی به موانع تیم‌های انسانی دارند و نباید به‌شکل معجزه‌آسایی انتظار نتایج بی‌نقص از هوش مصنوعی داشته باشیم: «ساخت سیستم‌های چندایجنت کارآمد دقیقاً به همان اندازه تشکیل تیم‌های انسانی موفق دشوار است؛ چراکه هر دو با همان توازن پردازش اطلاعات میان همسویی و تمایز دست‌وپنجه نرم می‌کنند. استفاده از هوش مصنوعی این چالش را به‌خودی خود حل نخواهد کرد.»

ایجنت‌ها می‌توانند اطلاعات نادرست را انتقال دهند، خروجی یکدیگر را اشتباه تفسیر کنند، به‌جای هدف کلان سازمان معیارهای فردی خود را بهینه‌سازی نمایند یا حتی وظیفه محول‌شده را بی‌نقص به انجام برسانند اما کیفیت خروجی کل پروژه را تخریب کنند.

سازمان‌ها احتمالاً ناچارند تصمیم بگیرند کدام ایجنت اختیار تصمیم‌گیری درباره هر وظیفه را دارد، چه اطلاعاتی میان آنها ردوبدل می‌شود، هر ایجنت به چه سیستم‌هایی دسترسی پیدا می‌کند و در چه نقطه‌ای انسان باید مداخله کند. آنها هم‌چنین ممکن است نیاز داشته باشند سازوکارهایی برای مخالفت و اختلاف نظر طراحی کنند، به‌جای اینکه تصور شود ارتباطات بیشتر یا توافق بالاتر همواره به بهبود نتایج منجر خواهد شد.

برخی از کارشناسان کسب‌وکار می‌گویند این چالش‌ها بار دیگر ما را به مفهوم «نظارت انسانی در چرخه تصمیم‌گیری» بازمی‌گرداند که نقشی حیاتی در پذیرش هوش مصنوعی توسط سازمان‌ها دارد.

تسدال نیلی، استاد دانشکده بازرگانی هاروارد و رئیس موسس آکادمی هوش مصنوعی هاروارد، در این باره می‌گوید: «مشکلاتی که من مشاهده می‌کنم در وهله اول چالش‌های مدیریتی هستند.»