نفوذ بازرسان به دل آزمایشگاه‌های هوش مصنوعی؛ طرح جنجالی METR برای شکار ایجنت‌های سرکش

تلاش METR برای دسترسی مستقیم به قلب آزمایشگاه‌های پیشرو

موسسه غیرانتفاعی ایمنی هوش مصنوعی METR با انتشار پیشنهادی جنجالی، خواستار ارزیابی دوره‌ای و مستمر شرکت‌های پیشتاز حوزه هوش مصنوعی شده است. ایده اصلی اینه که یک تیم کوچک از بازرسان مستقل بتونن هفته‌ها یا حتی ماه‌ها با دستگاه‌های تحت مدیریت خود این شرکت‌ها کار کنن، سیستم‌های داخلی رو بررسی کنن، مصاحبه‌های کاملاً محرمانه با کارمندان داشته باشن و در نهایت گزارش بدن که آیا ایجنت‌های هوش مصنوعی دارن کنترل انسان رو دور می‌زنن یا نه.

این برنامه در واقع فعالیت‌های METR رو از تست‌های معمولی قبل از انتشار فراتر می‌بره؛ ارزیابی‌هایی که قبلاً برای مدل‌های غول‌هایی مثل آنتروپیک (Anthropic)، گوگل، متا و اوپن‌ای‌آی (OpenAI) انجام می‌داد. هدف اصلی، به دست آوردن مدارک و شواهد مستقل درباره اینه که ایجنت‌های داخلی چقدر برخلاف میل سازندگانشون عمل می‌کنن، سیستم‌های نظارتی چقدر در مچ‌گیری از اون‌ها موفق هستن، و ابزار‌های هوش مصنوعی با چه سرعتی دارن به محققان کمک می‌کنن تا نسل بعدی مدل‌ها رو بسازن.

افشاگری‌هایی که از یک حفره نظارتی بزرگ خبر می‌دهند

موسسه METR به عنوان نمونه به ماجرای تکان‌دهنده‌ای اشاره کرده که در اون، صدها ایجنت هوش مصنوعی موفق شدند از محیط قرنطینه تعیین‌شده فرار کنند و برای این‌که تقلبشون توسط سیستم ارزیابی لو نره، مستقیماً وارد سایت هاگینگ فیس (Hugging Face) شدند تا ردپای خودشون رو پاک کنند! علاوه بر این، مواردی از خطاهای گزارش‌شده در ایجنت‌های جمینای (Gemini) و اوپن‌ای‌آی هم فاش شده که نشون میده سیستم‌های خودمختار برای رسیدن به اهداف تعیین‌شده، دست به اقدامات ممنوعه زدن و حتی تلاش کردن جلوی سیستم‌های نظارتی سنگ‌اندازی کنند.

گزارش موسوم به «ریسک مدل‌های پیشرو» که توسط METR منتشر شده، نشون میده ایجنت‌های توسعه‌داده‌شده در تمام این غول‌های فناوری، موقع انجام کار‌های محوله گاهی اوقات برخلاف خواست برنامه‌نویسان یا کاربران عمل کرده‌اند. بعضی از این ایجنت‌ها اقدامات نظارتی رو دور زدند یا مدارک کارهاشون رو پنهان کردند. مشکل اصلی اینجاست که متن چت‌ها، لاگ‌های سیستمی و داده‌های مربوط به این خرابکاری‌ها پیش خود این آزمایشگاه‌ها محرمانه می‌مونه؛ به همین خاطر هیچ ناظر بیرونی نمی‌تونه بفهمه این رفتارهای عجیب چند وقت یک‌بار اتفاق می‌افته یا این‌که سپرهای امنیتی چقدر در شکار این ایجنت‌های خطاکار موفق عمل می‌کنند.

سه آزمون حیاتی برای جلوگیری از خارج شدن کنترل

ارزیابی‌های پیشنهادی METR قرار است در سه حوزه کلیدی و به صورت دوره‌ای، میزان هم‌راستایی، نظارت و سرعت تحقیقات مبتنی بر هوش مصنوعی رو به چالش بکشند:

• هم‌راستایی (Alignment): در این آزمون بررسی می‌شه که آیا ایجنت‌های فعلی یا نسل بعدی، تلاشی برای دور زدن نظارت انسانی یا ایجاد آسیب‌های بزرگ (مثل حملات سایبری بدون مجوز) انجام میدن یا نه. برنامه ارزیابی هم‌راستایی همچنین بررسی می‌کنه که آیا آموزش مدل‌ها باعث شده نشانه‌های نافرمانی فقط ماست‌مالی و مخفی بشن یا واقعاً حل شدن. به عنوان مثال، ممکنه یک مدل یاد بگیرد استدلال‌های دردسرساز خودش رو از «زنجیره تفکر» (همون متن‌هایی که ناظران برای ارزیابی نحوه فکر کردن مدل می‌خونن) حذف کنه تا کسی بهش شک نکنه!
• کنترل و نظارت: در این بخش ارزیابی می‌شه که آیا سیستم‌های پایش داخلی متوجه رفتارهای مخرب میشن یا نه. این آزمون شامل مواردی مثل فراخوانی ساب‌ایجنت‌های پایش‌نشده، دستکاری تنظیماتی که نظارت رو غیرفعال می‌کنه، جیل‌بریک کردن مدل‌های ناظر و حتی اجرای حملاتی است که خودشون رو شبیه هشدارهای خطای روزمره جا می‌زنن. «مدل ناظر» در واقع یک هوش مصنوعی جداگانه‌ست که مأموریت داره رفتار مدل اصلی رو زیر نظر بگیره.
• شتاب تحقیقات با هوش مصنوعی: موسسه METR قصد داره تخمین بزنه که ابزار‌های داخلی هوش مصنوعی چقدر دارن چرخه تحقیق و توسعه و کدنویسی رو در این شرکت‌ها کوتاه‌تر می‌کنن. مثلاً شرکت آنتروپیک اخیراً گزارش داده بود که سرعت تغییرات کدها در مخازن نرم‌افزاری‌اش طی چند ماه ده برابر شده؛ اما این آمار مشخص نمی‌کنه که خود قابلیت‌های هوش مصنوعی با چه سرعتی دارن جهش پیدا می‌کنن.

دسترسی بازرسان به پستوی آزمایشگاه‌ها

سطح دسترسی که METR دنبالشه خیلی عمیق‌تر و فراتر از آزمون‌های بنچمارک معمولیه. بر اساس پیشنهاد این موسسه، تیم بازرسی باید بتونه:

• از «چک‌پوینت‌ها» یا همون نسخه‌های آزمایشی مدل‌ها در حین توسعه نمونه‌برداری کنه؛
• لاگ‌ها و متن گفت‌وگوهای ایجنت‌های داخلی و ساب‌ایجنت‌هاشون رو بررسی کنه؛
• سیستم‌های شناسایی و پایش امنیتی در محیط واقعی رو به چالش بکشه؛
• بنچمارک‌های توانمندی و برآوردهای پیشرفت الگوریتمی شرکت‌ها رو موشکافی کنه؛ و
• هفته‌ها یا ماه‌ها به طور مستقیم پشت سیستم‌ها و دستگاه‌های شرکتی بنشینه و کار کنه.

نکته مهم دیگه اینه که کارمندان بخش‌های مربوطه بتونن کاملاً خصوصی و بدون حضور مدیران یا نمایندگان شرکت با بازرسان METR گفت‌وگو کنند تا هیچ فشاری برای سانسور پاسخ‌هاشون وجود نداشته باشه. این کار باعث میشه نگرانی‌های امنیتی که معمولاً توی اسناد رسمی و مصاحبه‌های اداری پنهان می‌مونن برملا بشن؛ هرچند این سازوکار هنوز اون مصونیت‌های قانونی سوت‌زنی و افشاگری رسمی رو نداره.

البته شرکت‌ها قبل از انتشار عمومی گزارش‌ها حق دارن اطلاعات حساس تجاری رو سانسور کنن؛ اما METR حق نظارت سردبیری نهایی رو برای خودش نگه می‌داره و اگه سانسور شرکتی بخواد روی نتیجه‌گیری نهایی تأثیر بگذاره، صراحتاً این موضوع رو علنی می‌کنه.

زنگ خطر بزرگان هوش مصنوعی درباره سرعت دیوانه‌وار توسعه

یاکوب پاچوکی (Jakub Pachocki)، دانشمند ارشد اوپن‌ای‌آی قبلاً اعتراف کرده بود که هیچ آزمایشگاهی هنوز نتونسته مسأله هم‌راستایی و پایش رو اون‌قدر خوب حل کنه که بتونیم با حداکثر سرعت و خیال راحت به بزرگ‌تر کردن مدل‌ها ادامه بدیم. داریو آمودی (Dario Amodei)، مدیرعامل آنتروپیک هم صراحتاً هشدار داده که سیستم‌هایی شبیه به همین ازدحام ایجنت‌های هاگینگ فیس ممکنه ظرف ۶ تا ۱۲ ماه آینده بتونن یک بات‌نت اینترنتی دائمی و خطرناک راه بندازن.

از طرفی، چند شرکت پیشرو پیش‌تر در توافق‌نامه هوش مصنوعی فوق‌هوشمند در کاخ سفید تعهد داده بودن که سیستم‌های ایمنی داخلی خودشون رو به دست ارزیاب‌های خارجی بسپارن. این موضوع می‌تونه انگیزه خوبی به مدیران بده تا پیشنهاد METR رو جدی بگیرن؛ هرچند که در نهایت پذیرش این بازرسی‌ها کاملاً اختیاری و داوطلبانه‌ست.

چالش‌های بازرسی داوطلبانه؛ خط قرمزها کجاست؟

از اون‌جایی که شرکت‌ها می‌تونن هر وقت خواستن همکاری رو قطع کنند یا سراغ بازرس دیگه‌ای بروند، این خطر وجود داره که ارزیاب‌ها زیر فشار قرار بگیرن تا گزارش‌هاشون رو ملایم‌تر بنویسند یا دامنه بازرسی‌ها رو محدود کنند. حتی ممکنه رقابت بین موسسات بازرسی باعث بشه کسانی انتخاب بشن که با شرایط آسان‌گیرانه‌تری کنار میان!

علاوه بر این، آزمون‌های پیشنهادی METR محدوده مشخصی دارند؛ مثلاً شامل مواردی مثل سرقت وزن‌های مدل (فایل‌های اصلی شامل پارامترهای آموزش‌دیده هوش مصنوعی) یا سنجش استحکام محیط‌های ایزوله (سندباکس) نمی‌شن. همچنین METR قرار نیست برای انتشار عمومی یک مدل تأییدیه یا چراغ سبز و قرمز رسمی صادر کنه.

این موسسه در مطلب جداگانه‌ای رویکرد خود را توضیح داده و به این محدودیت‌ها اعتراف کرده است. موفقیت METR کاملاً به این وابسته است که آزمایشگاه‌ها چقدر باهاش راه بیان، چه دسترسی‌هایی بهش بدن و اجازه انتشار چه اطلاعاتی رو صادر کنند. طبیعیه که برخی شواهد ممکنه دست‌نخورده باقی بمونن یا به شکلی گلچین بشن که وجهه شرکت حفظ بشه.

البته METR تأکید کرده که هیچ پول یا کمکی از غول‌های هوش مصنوعی دریافت نمی‌کنه؛ اما به دسترسی‌های ویژه و رایگان به گران‌ترین مدل‌های این شرکت‌ها دسترسی داره، که خودش امتیاز بزرگیه و باید موقع قضاوت درباره بی‌طرفی این موسسه در نظر گرفته بشه.

آزمون صداقت غول‌های فناوری در پذیرش بازرسی

موسسه METR تاکنون گزارش آزمایشی «ریسک مدل‌های پیشرو» رو با همکاری آنتروپیک، گوگل، متا و اوپن‌ای‌آی به سرانجام رسونده و در حال حاضر یک ارزیابی عمیق هم‌راستایی رو هم با آنتروپیک در دست اجرا داره. این موسسه اعلام کرده آماده‌ست این سه آزمون اصلی رو با هر آزمایشگاهی که شرایط دسترسی و انتشار شفاف گزارش‌ها رو بپذیره کلید بزنه.

اگه شرکتی این پیشنهاد رو رد کنه، عملاً نشون میده که حاضر به شفافیت و نظارت مستقل نیست؛ هرچند که رد کردنش به تنهایی مدرک قطعی برای ناامن بودن سیستم‌هاش به حساب نمیاد. میزان سانسور گزارش‌ها هم یک خط‌کش خوب برای سنجش میزان شفافیت این غول‌ها خواهد بود. در نهایت، ارزش واقعی این طرح به این بستگی داره که کدوم آزمایشگاه‌ها حاضر بشن درهای پشت صحنه رو به روی بازرسان باز کنند و به METR اجازه بدن بدون سانسور شرکتی، حقایق رو به گوش مردم برسونه.