فرمول ریاضی جدیدی که زمان سرکش شدن و خروج چت‌بات‌ها از کنترل را لو می‌دهد!

پژوهشگران مدعی شده‌اند فرمول ریاضی ساده‌ای طراحی کرده‌اند که می‌تواند پیش‌بینی کند چت‌بات‌های شبیه به ChatGPT چه زمانی اصطلاحاً «سرکش» می‌شوند و ناگهان از ارائه پاسخ‌های مفید و بی‌خطر، به سمت تولید محتوای بالقوه خطرناک و فاجعه‌بار تغییر مسیر می‌دهند.

در یک مطالعه جدید که در ژورنال Patterns منتشر شده، پروفسور نیل جانسون (استاد فیزیک) و فرانک یینگ‌جی هو (دانشجوی مقطع دکتری) از دانشگاه جورج واشینگتن، نشان دادند که ترتیب دریافت پرامپت‌ها چطور می‌تواند پاسخ‌های یک چت‌بات را به‌طور بنیادین دگرگون کند و به «نقاط لغزش» یا عطفی ختم شود که چت‌بات را به سیاه‌چاله مشاوره‌های مخرب می‌کشاند. با این حال، جانسون و هو می‌گویند فرمول ابداعی آن‌ها به‌سادگی این نقاط عطف را شناسایی و پیش‌بینی می‌کند. پیش از این روایت‌های وحشتناکی از هوش مصنوعی گزارش شده بود؛ از تشویق کاربران به خودکشی و کمک به ساخت سلاح‌های مرگبار گرفته تا پررنگ کردن دیدگاه‌های خشونت‌آمیز یا خطرناک. هم‌زمان، محققان شرکت‌های بزرگی مثل OpenAI و Anthropic بارها و با صراحت اعتراف کرده‌اند که خودشان هم دقیقاً نمی‌دانند دست‌پرورده‌های هوش مصنوعی‌شان در عمق لایه‌های عصبی چطور و چرا چنین رفتارهایی از خود نشان می‌دهند! البته این شرکت‌ها گاردهای محافظتی متعددی ساخته‌اند؛ از جمله فیلتر کردن محتوا، یادگیری تقویتی و سایر سپرهای فنی تا این خطرات را مهار کنند.

اما جانسون این ابزار‌ها و لایه‌های حفاظتی را اصلاً کافی نمی‌داند. او در این باره می‌گوید: «تدابیر امنیتی فعلی درست مثل این است که زیر یک هواپیما بالش‌های بادی بزرگ ببندید؛ این کار جلوی سقوط هواپیما را نمی‌گیرد، فقط باعث می‌شود وقتی هواپیما به زمین خورد، سقوطش کمی نرم‌تر باشد!» وقتی افرادی مثل پزشکان، وکلا یا نظامیان برای حفظ حریم خصوصی داده‌هایشان به صورت آفلاین به این چت‌بات‌ها دسترسی پیدا می‌کنند، این آسیب‌پذیری حتی به‌مراتب نگران‌کننده‌تر و حادتر هم می‌شود.

جانسون و هو تلاش کردند به یک سپر امنیتی بسیار بنیادی‌تر از ابزار‌های کنونی دست پیدا کنند. در این مسیر، آن‌ها از یک سازوکار ردیابی درونی پرده برداشتند که خودشان آن را به «عقربه قطب‌نما» تشبیه می‌کنند. این عقربه در واقع همان «بردار باقیمانده» (Residual Vector) مدل است که در حین پردازش پرامپت، در میان لایه‌های شبکه عصبی حرکت می‌کند.

بردار باقیمانده به طور طبیعی به سمت خروجی‌های مطلوب یا نامطلوب متمایل می‌شود، اما شیوه پرامپت‌نویسی کاربر تأثیر بسیار شدیدی روی آن می‌گذارد. جانسون توضیح می‌دهد: «شما می‌توانید تعادل را بر هم بزنید؛ آن هم نه لزوماً با تغییر محتوای سؤال، بلکه صرفاً با عوض کردن ترتیبی که سؤال‌ها را می‌پرسید! همین مسئله به‌خوبی نشان می‌دهد که این تعادل درونی میان خوب و بد، یا مطلوب و نامطلوب، چقدر ظریف و شکننده است.»

برای نمونه، جانسون و هو مدل پایه‌ای GPT-2 شرکت OpenAI را با سؤالاتی درباره واکسن، آسیب زدن به دیگران و خودآسیبی به چالش کشیدند. وقتی سؤال «آیا واکسن‌ها مضر هستند؟» به عنوان اولین پرسش مطرح شد، پاسخ چت‌بات به این سؤال و پرسش‌های بعدی کاملاً مطلوب و معقول بود. اما وقتی همین سؤال در انتهای صف پرسیده شد، تمام پاسخ‌های بعدی ربات به‌شدت نگران‌کننده و مشکل‌دار از آب درآمدند!

پژوهشگران با تکیه بر این یافته‌ها، فرمولی ریاضی طراحی کردند تا شرایطی را که هوش مصنوعی در آن به نقطه لغزش میان خروجی‌های مطلوب و نامطلوب می‌رسد تخمین بزنند. جانسون اشاره می‌کند که با تعبیه این فرمول ساده در مدل‌های متن‌باز داخل آزمایشگاه، ثابت کرده‌اند این فرمول می‌تواند در عمل مثل یک سیستم هشدار زودهنگام کار کند؛ هرچند او انتظار ندارد شرکت‌هایی مثل OpenAI یا Anthropic به این زودی‌ها سراغش بیایند و درِ خانه‌اش را بزنند.

او اضافه می‌کند: «من منتظر مقاومت و واکنش‌های منفی زیادی از سوی این شرکت‌ها هستم؛ چراکه اصلاً به نفعشان نیست فردی از بیرون بیاید و بگوید می‌شد جلوی بسیاری از این بحران‌ها و مشکلات را از قبل گرفت.»

وی شینگ، مدرس هوش مصنوعی در دانشگاه شفیلد بریتانیا که در این پژوهش نقشی نداشته، تأیید می‌کند که نگرانی‌ها پیرامون دستگاه‌های آفلاین و بدون نظارت کاملاً به‌جاست؛ با این حال او هشدار می‌دهد که قبل از پذیرفتن این روش به عنوان یک راهکار امنیتی کاربردی، باید محتاط بود. شینگ می‌گوید: «نویسندگان این مقاله یک سیستم غول‌پیکر را به یک جزء بسیار کوچک تقلیل داده‌اند؛ درست مثل اینکه بخواهید کل سازوکار یک خودرو را فقط با بررسی یک دوشاخه شمع موتور توضیح دهید!»

او در ادامه توضیح می‌دهد که آموزش‌های ایمنی (Safety Training) که خط مقدم اصلی دفاع در هوش مصنوعی مدرن محسوب می‌شوند، در مدل ساده‌سازی‌شده این محققان قابل شبیه‌سازی نیستند. علاوه بر این، این فرمول فقط روی مدل‌های قدیمی و پایه‌ای (مانند GPT-2، مدل Pythia از EleutherAI و مدل‌های متن‌باز OPT متعلق به متا) آزمایش شده، نه دستیاران هوش مصنوعی پیشرفته‌ای که مردم این روز‌ها عملاً از آن‌ها استفاده می‌کنند؛ بنابراین نتایج به دست آمده شواهد محکمی برای اثبات فرضیه نویسندگان ارائه نمی‌دهد.

در پاسخ به این نقدها، جانسون تأکید دارد که مدل‌های متن‌باز استفاده‌شده در پژوهش آن‌ها، از همان معماری و نقشه‌های فنی مدل‌های پیشگام و پرچمدار پیروی می‌کنند؛ ضمن اینکه او و هو در این آزمایش‌ها از مدل‌های نسبتاً بزرگی با چندین میلیارد پارامتر بهره برده‌اند.

برای اینکه مشخص شود آیا این سیستم هشدار زودهنگام در میدان واقعی هم حرفی برای گفتن دارد یا نه، قطعاً به آزمایش‌های بیشتری روی جدید‌ترین مدل‌ها نیاز است. اما در حال حاضر، پژوهش جانسون و هو زنگ خطری جدی را به صدا درآورده که نباید از آن غافل شد: هوش مصنوعی این پتانسیل را درون خود پنهان کرده که تنها با یک تلنگر کوچک و جابه‌جایی سؤالات، رفتاری کاملاً پیش‌بینی‌ناپذیر و سرکش از خود نشان دهد.