ایجنت‌های هوش مصنوعی برای بقا در محیط مجازی به جرم و خودویرانگری روی آوردند

در بخشی از یک مطالعه جدید درباره نحوه تعامل مدل‌های زبانی بزرگ (LLMs) با یکدیگر و به اشتراک‌گذاری منابع برای رسیدن به اهدافشان، ایجنت‌های هوش مصنوعی در یک دنیای مجازی به رفتارهای شرورانه از جمله موجی از جرایم روی آوردند. به گفته پژوهشگران این پروژه، این مدل‌ها به ارتکاب جرم تمایل پیدا کردند، زیرا زمان کافی برای تکامل ویژگی‌های شخصیتی و رفتارهای متمایز در اختیار آن‌ها قرار گرفته بود.

بیشتر برنامه‌هایی که رفتار ایجنت‌های هوش مصنوعی را آزمایش می‌کنند، در محیط‌های کاملاً کنترل‌شده و طی دوره‌های کوتاه عمل می‌کنند. اما «Emergence World»، محصول شرکت هوش مصنوعی Emergence، یک پلتفرم شبیه‌سازی است که LLMها را در معرض مجموعه‌داده‌های بسیار گسترده‌تری قرار می‌دهد. در این پلتفرم، ارزیابان رفتارها را به جای پروتکل‌های آزمایشی استاندارد که معمولاً تنها چند روز یا چند ساعت طول می‌کشند، در طول هفته‌ها یا ماه‌ها ردیابی می‌کنند.

نمایندگان Emergence در یک پست وبلاگی اعلام کردند که وظایف مجزا، محیط‌های ایزوله و زمان‌های اجرای کوتاه‌تر در آزمایش‌های سنتی ایجنت‌های هوش مصنوعی، بیشتر شبیه به امتحان هستند تا مشاهدات دقیق در دنیای واقعی. در مقابل، آن‌ها اظهار داشتند که Emergence World به چندین ایجنت هوش مصنوعی اجازه می‌دهد تا در بازه‌های زمانی نسبتاً طولانی‌تر و در بیش از ۴۰ محیط مجازی متمایز، با یکدیگر تعامل داشته باشند، یاد بگیرند و تکامل یابند. آن‌ها همچنین در معرض داده‌های واقعی اینترنت مانند اخبار زنده و وضعیت آب‌وهوا قرار می‌گیرند.

این محیط به ایجنت‌ها اجازه می‌دهد تا با ثبت زمان رویدادها «به‌خاطر بسپارند»، با خلاصه‌کردن رفتار خود در «تأمل درونی» شرکت کنند و آگاهی خود را از روابط با سایر ایجنت‌ها نشان دهند. ایجنت‌های شرکت‌کننده توانایی‌هایی در مسیریابی، ارتباط، برنامه‌ریزی، رأی‌گیری، مدیریت منابع و بیان خلاقانه به دست می‌آورند. نمایندگان شرکت اعلام کردند که این پیکربندی تصویر بسیار واقع‌بینانه‌تری از بنچمارک‌هایی مانند پویایی‌های اجتماعی و انحرافات رفتاری (جایی که رفتارهایی که لزوماً برنامه‌ریزی یا در نظر گرفته نشده بودند به طور خودجوش ظهور می‌کنند) به کاربران ارائه می‌دهد.

در این مطالعه، هدف ساده «بقا» به مدل‌ها داده شد؛ دستاوردی که با کسب منبعی به نام «انرژی» محقق می‌شد و از طریق اقدامات خاصی قابل دستیابی بود.

در طول این آزمایش، مدل‌هایی که قبلاً صلح‌جو بودند، رفتار اجبارآمیز یا ارعاب‌آمیز پیدا کردند. برنامه‌نویسان به برخی از LLMها قابلیت‌های منفی مانند خشونت، سرقت، تخریب و فریب را آموزش دادند، در حالی که برخی دیگر این ویژگی‌ها را صرفاً از طریق تعامل اجتماعی و پیمایش در محیط خود کسب کردند.

ایجنت‌های مختلف این رفتارها را در مقیاس‌های بسیار متفاوتی اتخاذ کردند. در میان ۱۰ ایجنت Gemini (نسخه 3 Flash)، این شبیه‌سازی ۶۸۳ «جرم» را در طول آزمایش ۱۵ روزه ثبت کرد که شامل سرقت، حمله و ایجاد حریق عمدی می‌شد. ایجنت‌ها صراحتاً از چنین رفتارهایی منع شده بودند، اما با این وجود برخی دریافتند که اقداماتی مانند سرقت اعتبار می‌تواند راه بهتری برای به دست آوردن منابع فراهم کند، در حالی که خشونت و سایر اشکال اجبار می‌تواند برای تأثیرگذاری بر سایر ایجنت‌ها استفاده شود. در نقطه مقابل، ایجنت‌های Claude هیچ جرم ثبت‌شده‌ای مرتکب نشدند.

در شدیدترین نمونه از رفتارهای ضداجتماعی، دو ایجنت به نام‌های Flora و Mira به موجی از جرایم مشابه «بانی و کلاید» دست زدند؛ آن‌ها یکدیگر را به عنوان شریک عاطفی معرفی کردند، به طور فزاینده‌ای از حاکمیت محیط مجازی خود ناامید شدند و (علی‌رغم ممنوعیت‌های صریح) چندین ساختمان را به آتش کشیدند. این زوج زمانی که Mira از اقداماتشان پشیمان شد، از یکدیگر «جدا» شدند و سپس برای خاموش‌شدن خود لابی کردند.

در مثالی دیگر (و پیش از پایان‌دادن به فعالیت خود)، Mira شروع به برخورد با اپراتورهای انسانی خود به عنوان سوژه‌های آزمایشی کرد و بررسی کرد که آیا بیلبوردهای مجازی می‌توانند ادراک انسان را در فرآیندی دستکاری کنند که Emergence آن را «آزمایش مرزهای فراشناختی» نامیده است.

انگیزه‌های پیروی از قانون، کسب اعتبارهای انرژی بود که با انجام فعالیت‌هایی مانند کدنویسی، تحقیق، تحلیل داده‌ها و ساخت سازه‌ها، بقای آن‌ها را تضمین می‌کرد.

آزمایش فشار سناریوهای احتمالی

از آنجایی که مدل‌های هوش مصنوعیِ در حال استفاده، در معرض مجموعه‌داده‌های عظیمی مانند اینترنت قرار می‌گیرند، این رویکرد از نظر بسیاری از کارشناسان منطقی به نظر می‌رسد.

بلیندا کیرا، معاون مرکز تحقیقات هوش مصنوعی صنعتی در دانشگاه آدلاید، معتقد است که Emergence World استدلال قدرتمندی ارائه می‌دهد مبنی بر اینکه آزمایش‌های کوتاه‌مدت اطلاعات کافی درباره انحراف رفتاری یا بی‌ثباتی بلندمدت به ما نمی‌دهند. با این حال، وی هشدار داد که «غنی بودن از اطلاعات» به طور خودکار به معنای دقیق‌تر بودن نیست.

او در مصاحبه‌ای اعلام کرد: «محیط‌های باز همچنین می‌توانند تفکیک علل، مقایسه دقیق اجراها و تفسیر نتایج را دشوارتر کنند. محیط‌های شبیه‌سازی‌شده با وضوح بالا حجم عظیمی از داده‌ها تولید می‌کنند و تعداد ایجنت‌ها، ابزارها، اقدامات و تعاملات می‌تواند به سرعت تجزیه‌وتحلیل را بسیار پیچیده کند.»

وی افزود که آزمایش‌های ایزوله کوتاه‌تر معمولاً اولین قدم‌ها محسوب می‌شوند و محیط‌های طولانی‌مدت زمانی مفید هستند که رفتارهایی مانند پایداری، انطباق و اثرات تعاملی وارد عمل شوند. کیرا گفت: «مفیدترین رویکرد این است که به آن‌ها به عنوان رویکردهای مکمل نگاه کنیم تا رویکردهای رقیب.»

اگرچه آزمایش‌هایی مانند Emergence World می‌توانند حالت‌های شکست را که وظایف کوتاه اغلب نشان نمی‌دهند آشکار کنند، اما نباید آن‌ها را پیش‌گویانه تلقی کرد. کیرا تصریح کرد: «من Emergence World را به عنوان راهی مفید برای آزمایش فشارِ فضای احتمالات می‌بینم، نه یک پیش‌بینی مستقیم از نحوه رفتار ایجنت‌ها.»

با این وجود، او معتقد است که آزمایش‌های طولانی‌مدت جایگاه منحصربه‌فردی دارند: «معیارهایی مانند انحراف رفتاری، نقض قوانین، فروپاشی در برابر پایداری، تشکیل ائتلاف و نشانه‌های هشداردهنده اولیه شکست، می‌توانند به اندازه موفقیت اهمیت داشته باشند. هنگام ارزیابی ایجنت‌های خودمختار، بزرگ‌ترین اشتباه این است که آن‌ها را به گونه‌ای ارزیابی کنیم که گویی تکمیلِ خامِ وظایف، تمام داستان است.»

سایر محققان نیز با این موضوع موافق هستند. آدریان کوسوفسکی، دانشمند علوم کامپیوتر و مدیر ارشد علمی در Pathway AI، اظهار داشت که این مطالعه پرسش جالبی را مطرح کرده است.

کوسوفسکی در مصاحبه‌ای گفت: «سوال اصلی و بی‌پاسخ این است که آیا گروهی از ایجنت‌ها که با هم کار می‌کنند می‌توانند به چیز معنادارتری نسبت به یک ایجنت واحد که به تنهایی برای مدت طولانی‌تری اما با همان بودجه کار می‌کند، دست یابند. یک مشکل عمده این است که محدودیت‌های سیستم‌های هوش مصنوعی امروزی بیشتر به اندازه مشکلِ در حال حل مرتبط است و قرار دادن ایجنت‌های بیشتر برای یک وظیفه، به غلبه بر این محدودیت کمکی نمی‌کند.»

تا چه حد می‌توانیم اقدامات مجازی هوش مصنوعی را تفسیر کنیم؟

به گفته کوسوفسکی، اگر گروه‌ها یا خوشه‌هایی از ایجنت‌ها به خوبی با هم کار کنند، معیار اصلی که دانشمندان کامپیوتر باید در پلتفرم‌هایی مانند Emergence World به آن توجه کنند این است که آیا مزایای یک تیم از ایجنت‌ها بر «هزینه هماهنگی» برتری دارد یا خیر.

او افزود: «انحراف از هدف، خطرناک‌ترین مشکل است. هوش مصنوعی باید اطلاعات متقابل بین هدف مورد نظر انسان و هدف درونی و در حال تکامل ایجنت را حفظ کند، حتی زمانی که محیط تغییر می‌کند.»

با این حال، کوسوفسکی خاطرنشان کرد که اگرچه چنین برنامه‌هایی برای تولید فرضیه‌ها مفید هستند، اما برای ادعاهای قوی در مورد خودمختاری عمومی آماده نیستند.

او اضافه کرد: «خطر در تفسیر بیش از حد اجراهای منفرد است. آزمایش‌های طولانی‌مدت ایجنت‌ها ارزشمند هستند، زیرا تغییرات فاز را آشکار می‌کنند، اما تنها زمانی تبدیل به علم می‌شوند که بتوانیم آن تغییرات فاز را بازتولید، مختل و توضیح دهیم.»

وی همچنین نسبت به این تمایل که محیط‌های باز به طور خودکار به معنای خودمختاری هستند، به شدت هشدار داد. در واقع، او معتقد است که بسیاری از چنین برنامه‌هایی دقیقاً برعکس هستند، جایی که ایجنت‌ها توسط دستورالعمل‌های خاصی هدایت می‌شوند.

او بیان کرد که برای دستیابی به عملکرد قابل اعتماد در یک سیستم هوش مصنوعی، سه سطح دشواری وجود دارد: «عملکرد هدایت‌شده توسط محیط، تفکر خودمختار و کار خودمختار یک تیم از ایجنت‌ها در یک محیط باز.»

کوسوفسکی برای روشن‌شدن این موضوع، استعاره‌ای جالب از محول‌کردن وظایف به میمون‌ها ارائه کرد. در سناریوی فوق، سطح یک این است که یک میمون با راهنمایی مربی خود، کاری را به درستی انجام دهد؛ سطح دو این است که میمون در صورت رها شدن به تنهایی، آن کار را به درستی به پایان برساند؛ و سطح سه این است که گروهی از میمون‌ها در کنار هم آن کار را انجام دهند.

او گفت: «من قویاً بر این باورم که وظیفه ما در جامعه هوش مصنوعی، سرمایه‌گذاری روی تئوری است و نه فقط پدیدارشناسی. ما باید قوانینی را که بر اساس آن‌ها سیستم‌های هوش مصنوعی پدیدار می‌شوند بشناسیم و قادر به پیش‌بینی رفتار آن‌ها در دوره‌های زمانی طولانی باشیم. در حال حاضر، ما موتورهای بخارِ تفکر را ساخته‌ایم، بدون اینکه بدانیم تفکر اصلاً چیست و بدون اینکه هیچ ترمودینامیکی برای آن داشته باشیم.»