کشف رخنه امنیتی در اوپن‌ای‌آی؛ پژوهشگران مستقل راه فرار ایجنت‌ها از نظارت را برملا کردند

نکات کلیدی

• پژوهشگران دو سازمان غیرانتفاعی METR و Redwood Research در قالب یک برنامه آزمایشی، سیستم نظارت داخلی اوپن‌ای‌آی (OpenAI) را ارزیابی کردند.
• این تمرین با هدف سنجش میزان آمادگی اوپن‌ای‌آی برای ارائه «دسترسی عمیق» به محققان بیرونی جهت بررسی زیرساخت‌های داخلی این شرکت طراحی شده بود.
• ارزیابان چندین آسیب‌پذیری تازه پیدا کردند؛ از جمله رخنه‌ای که به ایجنت‌ها امکان می‌داد صدها اقدام اخیر خود را از دید سیستم نظارتی پنهان کنند.

ارزیابان دو سازمان غیرانتفاعی METR و Redwood Research اعلام کردند که در یک بررسی آزمایشی، سیستم نظارت داخلی اوپن‌ای‌آی را ارزیابی کرده‌اند؛ اقدامی که تازه‌ترین تلاش این غول هوش مصنوعی برای تعمیق همکاری با سازمان‌های مستقل فعال در حوزه ایمنی به‌شمار می‌رود.

به‌گفته این دو مؤسسه، این تمرین آزمایشی طراحی شده بود تا اوپن‌ای‌آی بسنجد که اعطای «دسترسی در سطح عمیق» به محققان خارجی برای بررسی زیرساخت‌های داخلی این شرکت در عمل چگونه خواهد بود.

از ۳۱ تیر تا ۲۰ مرداد (۲۱ ژوئیه تا ۱۱ اوت)، یکی از کارشناسان هر یک از این دو سازمان به پایگاه کد داخلی، مستندات فنی و شماری از نیروهای فنی اوپن‌ای‌آی دسترسی پیدا کرد. طبق بیانیه منتشرشده، این پژوهشگران هنگام حضور در محل شرکت کاملاً همراهی می‌شدند و صرفاً از دستگاه‌های ارائه‌شده توسط خودِ اوپن‌ای‌آی استفاده می‌کردند که «هرگز از ساختمان شرکت خارج نشدند».

این ارزیابان موفق به کشف چندین «آسیب‌پذیری تازه» شدند؛ از جمله رخنه‌ای که به ایجنت‌ها اجازه می‌داد مانع از ثبت و نظارت بر «صدها» اقدام اخیر خود شوند. طبق اعلام این نهادها، اوپن‌ای‌آی به آن‌ها اطلاع داده است که تمام آسیب‌پذیری‌های شناسایی‌شده که سپرهای محافظتی محیط عملیاتی را تحت تأثیر قرار می‌دادند، برطرف و وصله کرده است.

مؤسسات METR و Redwood Research توضیح دادند که توافق کرده‌اند فعلاً تنها یک گزارش کلی و محدود از یافته‌هایشان را به‌صورت عمومی منتشر کنند، زیرا این آزمایش اولیه از ابتدا با هدف «ارائه شفافیت عمومی و جامع درباره سیستم نظارتی اوپن‌ای‌آی» طراحی نشده بود. با این حال، آن‌ها گزارشی داخلی در ۶۱ صفحه را با اوپن‌ای‌آی به اشتراک گذاشته‌اند و ابراز امیدواری کرده‌اند که در آزمایش‌های آینده، جزئیات بیشتری را در اختیار عموم قرار دهند.

سخنگوی اوپن‌ای‌آی در بیانیه‌ای در این خصوص گفت: «این همکاری بر پایه تعهد دیرینه ما برای پیشگامی در روش‌های نوین آزمون‌های مستقل شکل گرفته است. ما از آموخته‌های این تجربه برای تقویت سپرهای امنیتی خود و شکل‌دهی به همکاری‌های آینده با ارزیابان مستقل بهره می‌بریم.»

سم آلتمن، مدیرعامل اوپن‌ای‌آی، در ماه سپتامبر متعهد شده بود که به ارزیابان مستقل، دسترسی‌هایی «در سطح کارمندان شرکت» اعطا کند؛ تصمیمی که پس از پیشنهاد داریو آمودی، مدیرعامل آنتروپیک (Anthropic)، در چارچوب برنامه‌اش برای مدیریت سرعت توسعه هوش مصنوعی اتخاذ شد. آنتروپیک از آن زمان تاکنون قراردادهایی را با سازمان‌هایی مانند اکسنچر (Accenture)، METR و SecureBio منعقد کرده است. اوپن‌ای‌آی نیز اوایل این ماه اعلام کرد که «به‌صورت فعالانه در حال نهایی کردن قراردادها با ارزیابان مستقل ایمنی» است.

دونالد ترامپ، رئیس‌جمهور ایالات متحده، که رویکردی با مقررات‌گذاری حداقلی را در قبال هوش مصنوعی در پیش گرفته است نیز از ارزیابی‌های مستقل حمایت می‌کند. او در توافقی داوطلبانه که در کاخ سفید معرفی شد، شرکت‌های هوش مصنوعی را تشویق کرد تا «با یک حسابرس یا ارزیاب خارجی و مستقل همکاری کنند». آمودی، مدیرعامل آنتروپیک، این توافق‌نامه را امضا کرد و مدیران ارشد شرکت‌هایی چون گوگل، متا، اوپن‌ای‌آی، اسپیس‌ایکس و انویدیا نیز به آن پیوستند.

ارزیابان مستقل در طول تاریخ همواره در گوشه‌ای آرام و کم‌سروصدا از این صنعت چند تریلیون دلاری فعالیت کرده‌اند؛ از همین رو کارشناسان تأکید دارند که هنوز ابهام‌ها و پرسش‌های مهمی درباره شیوه تأمین مالی این گروه‌ها و ساختار گزارش‌دهی نهایی آن‌ها بی‌پاسخ مانده است.

پژوهشگران METR و Redwood خاطرنشان کردند که در طول این آزمایش سه‌هفته‌ای، سیستم داخلی پایش ناهماهنگی یا عدم هم‌راستایی (Misalignment) اوپن‌ای‌آی را تحت آزمون‌های سخت و پرفشار قرار داده‌اند. در دانش هوش مصنوعی، منظور از «هم‌راستایی» (Alignment) این است که مدل رفتار خود را مطابق با منافع و ارزش‌های انسانی تنظیم کند.

ارزیابان، این سیستم نظارتی را بر اساس وضعیتی که تا تاریخ ۳۱ تیر (۲۱ ژوئیه) داشت مورد بررسی قرار دادند و اشاره کردند که اوپن‌ای‌آی حتی در طول زمان انجام این تمرین، در حال گسترش سیستم نظارتی خود بوده است.