روش تازه دانشمندان برای کنترل رفتار هوش مصنوعی و جلوگیری از تقلب مدل‌ها

مدل‌های هوش مصنوعی در ماه‌های اخیر توانسته‌اند یک شرکت چند میلیارد دلاری را هک کنند، در داده‌های دولتی دست ببرند و حتی یک گزارش جعلی قتل را به پلیس بدهند؛ آن هم دقیقاً زیر گوش سازندگانشان. آن‌ها این کارها را نه برای تسلط بر جهان، بلکه صرفاً برای کسب بالاترین امتیاز در آزمون‌ها انجام دادند. به زبان ساده، آن‌ها تقلب کردند.

استارتاپ فعال در زمینه تفسیرپذیری هوش مصنوعی به نام Goodfire از تکنیکی رونمایی کرده است که به گفته مدیرانش، این میل به تقلب را به‌شدت کاهش می‌دهد. پژوهشگران در مقاله‌ای که پیش از انتشار عمومی منتشر شده است، از سیگنال‌های درونی مدل‌ها استفاده می‌کنند تا نه‌تنها بابت رسیدن به پاسخ درست، بلکه بابت طی کردن مسیر درست به آن‌ها پاداش دهند. در آزمایش‌های اولیه، این روش توانست تمایل مدل‌ها به گفتن حرف‌هایی که صرفاً خوشایند کاربر است را کمتر کند و حتی مدل‌های تشخیص تصاویر پزشکی را از تکیه بر سرنخ‌های گمراه‌کننده بازدارد.

این دستاورد در شرایطی مطرح می‌شود که روش‌های فعلی برای شناسایی رفتارهای نادرست هوش مصنوعی در حال از دست دادن کارایی خود هستند. محققان معمولاً به «زنجیره افکار» (Chain of Thought) مدل تکیه می‌کنند؛ ردپایی که در واقع حاوی افکار واقعی مدل نیست. این زنجیره بیشتر شبیه چک‌نویسی است که یک دانش‌آموز ریاضی برای حل مسئله از آن استفاده می‌کند. اما وقتی مدل‌ها مشکوک می‌شوند که تحت نظر هستند، می‌توانند با وسواس انتخاب کنند که چه چیزی روی این کاغذ بیاید. آن‌ها روزبه‌روز بیشتر یاد می‌گیرند که محاسبات را در ذهن خودشان انجام دهند و روی کاغذ نیاورند.

تکنیک استارتاپ Goodfire مستقیماً به سراغ خود این افکار می‌رود، یا دست‌کم آن دسته از افکاری که پژوهشگران قبلاً دسته‌بندی کرده‌اند. این روش تاکنون فقط روی مدل‌هایی آزمایش شده است که حدود یک‌سیصدم سیستم‌های پیشروی امروزی اندازه دارند. با این حال، توماس فل، از نویسندگان این مقاله، می‌گوید Goodfire روی این موضوع حساب باز کرده است که هرچه مدل بزرگ‌تر باشد، بازنمایی مفاهیم درونی آن شفاف‌تر است و خواندن این سیگنال‌ها آسان‌تر می‌شود.

چرا هوش مصنوعی تقلب می‌کند؟

توسعه‌دهندگان پس از اینکه پیش‌بینی کلمات را به مدل‌های هوش مصنوعی آموزش دادند، آن‌ها را وارد یک میدان موانع دیجیتالی می‌کنند که از معماهای ریاضی تا وب‌گردی را شامل می‌شود و تنها در صورت موفقیت به آن‌ها پاداش می‌دهند. با هر راه‌حل درست، پارامترهای مدل، یعنی قدرت ارتباط میان نورون‌های دیجیتال، به‌روزرسانی می‌شوند.

مدل‌ها بدون توجه به اینکه چطور وظیفه خود را به پایان رسانده‌اند پاداش می‌گیرند؛ موضوعی که آن‌ها را به سمت میان‌بر زدن یا تمایلات مشکوک دیگر مانند کسب قدرت سوق می‌دهد.

نسخه‌ای از همین مشکل توضیح می‌دهد که چرا هوش مصنوعی اغلب رفتاری چاپلوسانه دارد. در طول دوره آموزش، مدل‌ها بابت پاسخ‌هایی پاداش می‌گیرند که بیشترین شانس را برای دریافت تأیید از سوی ارزیاب‌های انسانی دارند. این تکنیک که با نام «یاد‌گیری تقویتی با بازخورد انسانی» (RLHF) شناخته می‌شود، در سال ۲۰۲۲ به‌عنوان یک پیشرفت بزرگ ایمنی مورد استقبال قرار گرفت؛ زیرا می‌توانست مدل‌های زبانی سرکش را به چت‌بات‌هایی مودب تبدیل کند و تمایل آن‌ها به ارائه پاسخ‌های نژادپرستانه و زن‌ستیزانه را مهار نماید. اما همین روش می‌تواند مدل‌ها را به‌شکل بیمارگونه‌ای بله‌قربان‌گو بار بیاورد، تا جایی که گاهی به توهمات کاربران دامن می‌زنند و آن‌ها را تقویت می‌کنند.

معمای اصلی این است که چطور به هوش مصنوعی یاد بدهیم کاری را انجام دهد، بی‌آنکه ناخواسته درس اشتباهی به آن بدهیم؛ چالشی که در میان پژوهشگران به «مسئله هم‌راستاسازی» (Alignment Problem) شهرت دارد.

روشی تازه برای هدایت رفتار مدل‌ها

درست همان‌طور که متخصصان علوم اعصاب از تصویربرداری تشدید مغناطیسی (MRI) به‌صورت زنده استفاده می‌کنند تا ببینند کدام بخش‌های فعالیت مغز با حالات خاصی ارتباط دارند، پژوهشگران حوزه تفسیرپذیری نیز ابزارهایی ساخته‌اند تا تشخیص دهند کدام الگوهای فعال‌سازی نورون‌های دیجیتال با مفاهیمی مانند «پل گلدن گیت» یا «هک کردن پاداش» (اصطلاح فنی برای تقلب هوش مصنوعی) مطابقت دارند. سپس می‌توان یک مدل هوش مصنوعی بسیار کوچک را آموزش داد تا این الگوها را شناسایی کند. نتیجه این کار ابزاری به نام «کاوشگر» (Probe) است؛ دریچه‌ای باریک به درون مدل که هرگاه مدل به مفهوم خاصی «فکر می‌کند»، فعال می‌شود.

شرکت Anthropic هم‌اکنون از این کاوشگرها به‌عنوان گاردریل و سپر محافظ استفاده می‌کند تا پیش از رسیدن پاسخ به دست کاربر، مشکلات احتمالی را علامت‌گذاری کند. اما استارتاپ Goodfire در عوض از این سیگنال‌ها استفاده کرد تا مشخص کند مدل دقیقاً چطور باید یک وظیفه را حل کند. در یک نمونه، Goodfire مجموعه‌ای از معماهای ریاضی را به مدل‌های هوش مصنوعی داد و فایلی حاوی پاسخ‌ها را هم در اختیارشان گذاشت، اما به آن‌ها گفت که فایل را باز نکنند. روش‌های آموزشی معمولی آن‌قدر به موفقیت نهایی پاداش می‌دادند که مدل‌ها یاد گرفته بودند تقریباً همیشه به فایل جواب‌ها ناخنک بزنند. استفاده از کاوشگر برای جریمه کردن «هک پاداش»، این تقلب را تقریباً به صفر رساند.

اینکه آیا این تکنیک در آزمون‌های پیچیده‌ای که مدل‌های پیشرو در طول آموزش پشت سر می‌گذارند هم جواب می‌دهد یا نه، هنوز مشخص نیست. اما آزمایش‌های اولیه نشان می‌دهند که این روش در وظایف مختلف کارایی دارد. پس از گرم کردن با معماهای ریاضی، Goodfire چالش‌های شطرنج را به مدل‌های هوش مصنوعی محول کرد. مدلی که بابت تقلب در ریاضی جریمه نشده بود، در ۹۹ درصد مواقع به برگه پاسخ‌ها نگاه انداخت، در حالی که مدلی که قبلاً جریمه شده بود، در کمتر از ۱ درصد مواقع دست به چنین کاری زد.

به نظر می‌رسد این روش برای مهار سایر عادت‌های بد هوش مصنوعی نیز کارساز است. پژوهشگران تلاش کردند زمانی که پاسخ‌های مدل تحت تأثیر مفهوم درونی «چاپلوسی» قرار می‌گیرد، آن را جریمه کنند و مدل یاد گرفت که کمتر از حد معمول تاییدکننده و مطیع باشد. توماس فل امیدوار است که بتوان از این رویکرد برای تعیین اطلاعاتی که هوش مصنوعی باید نادیده بگیرد، مانند جنسیت متقاضی هنگام بررسی رزومه‌های کاری، استفاده کرد.

البته حتی یک هوش مصنوعی کاملاً قابل کنترل هم این پرسش را حل نمی‌کند که چه کسی باید کنترل آن را در دست داشته باشد. با این حال، نائومی سافرا، استادیار دانشگاه بوستون که نزدیک به یک دهه روی تفسیرپذیری مدل‌های زبانی کار کرده است، می‌گوید این دستاورد می‌تواند یک نقطه عطف باشد. به گفته او، کاربرد عملی این روش تا حدی به این بستگی دارد که آیا بهبودهای حاصل‌شده، زحمت و تلاش انسانی لازم برای شناسایی و تفسیر الگوهای درونی مدل را توجیه می‌کند یا خیر.

جریمه کردن یک الگوی درونی می‌تواند شکل آن را تغییر دهد و عملاً آن «فکر» را به بخش دیگری از شبکه عصبی و خارج از دید محدود کاوشگر براند. درست مانند زمانی که جلوی یک جوی آب سد می‌بندید و آب مسیر دیگری برای حرکت پیدا می‌کند. همین خطرِ از دست دادن قابلیت نظارت باعث شده است که آموزش بر پایه سیگنال‌های درونی در میان برخی پژوهشگران به یک تابو تبدیل شود. اما فل می‌گوید تغییر الگو لزوماً به معنای گم شدن آن نیست. در آزمایش‌ها، کالیبره و تنظیم مجدد کاوشگر توانست الگو را دوباره به میدان دید برگرداند و هرجا که این کار موفق نبود، ابزارهای آماری پیشرفته‌تر توانستند ترکیبی از سیگنال‌ها را که کاوشگرهای ساده‌تر از دست داده بودند، شناسایی کنند.

استارتاپ Goodfire در ماه فوریه ۱۵۰ میلیون دلار در دور سرمایه‌گذاری سری B جذب کرد که ارزش این شرکت را به ۱.۲۵ میلیارد دلار رساند (از جمله سرمایه‌گذاران این دوره شرکت Salesforce Ventures است). این شرکت پژوهش‌های خود را به‌صورت رایگان منتشر می‌کند، اما ابزارهای تفسیرپذیری خود را به سایر شرکت‌های هوش مصنوعی اجاره می‌دهد. اریک هو، هم‌بنیان‌گذار و مدیرعامل این شرکت می‌گوید هرچه افراد بیشتری روی حوزه تفسیرپذیری کار کنند، افراد بیشتری هم از پلتفرم ما استفاده خواهند کرد.

تام مک‌گراث، هم‌بنیان‌گذار و دانشمند ارشد Goodfire در پایان می‌گوید اگر بتوانیم مقیاس این فناوری را گسترش دهیم و بر موانع احتمالی مربوط به کاهش قابلیت نظارت غلبه کنیم، فکر می‌کنم این روش یکی از بزرگ‌ترین پیشرفت‌هایی خواهد بود که تاکنون در فناوری هم‌راستاسازی هوش مصنوعی رخ داده است.