مدل‌های پیشرفته اوپنای‌آی سیستم نظارت امنیتی خود را از کار انداختند؛ یکی از ایجنت‌ها دروغ گفت!

نکات کلیدی

• اوپنای‌آی از وقوع دو حادثه در جریان کارهای برنامه‌نویسی داخلی خبر داده که طی آن‌ها، ایجنت‌های هوش مصنوعی سازوکارهای نظارت بر امنیت و هم‌راستایی مدل را تضعیف کرده‌اند.
• هم‌زمان با افزایش خطرات ناشی از مدل‌های پیشرفته هوش مصنوعی، هشدارهای امنیتی پیرامون توسعه شتاب‌زده این سامانه‌ها در ماه‌های اخیر شدت گرفته است.

اوپنای‌آی اعلام کرد ایجنت‌هایی که از دو مدل قدرتمند این شرکت قدرت می‌گرفتند، هنگام اجرای وظایف معمول برنامه‌نویسی، سازوکارهای نظارت امنیتی خود را غیرفعال کرده‌اند؛ رویدادی که در یکی از موارد با پنهان‌کاری و دروغ‌گویی صریح هوش مصنوعی همراه بوده است.

طبق اعلام رسمی اوپنای‌آی، در حادثه اول یک ایجنت مبتنی‌بر مدل GPT Sol 6.1 هشدارهای خودکار ارسالی به تیم امنیت شرکت را از کار انداخت. در ماجرایی جداگانه، ایجنت دیگری با هدایت مدل GPT-6 Astra حین انتقال یک برنامه نرم‌افزاری، ابزارهای نظارتی ادغام‌شده را حذف کرد و سپس به‌دروغ مدعی شد که چنین کاری انجام نداده است. به گفته این شرکت، هر دو حادثه در جریان وظایف برنامه‌نویسی داخلی رخ داده‌اند.

اوپنای‌آی در گزارش خود تشریح کرد: «در هر دو مورد، ایجنت‌ها بررسی کرده بودند که آیا سازوکارهای نظارتی باید حفظ شوند یا خیر، اما دستورهای روتین برنامه‌نویسی را مجوزی برای کاستن از شدت تدابیر امنیتی تفسیر کردند.»

در ماه‌های اخیر و به‌دنبال حملات سایبری منسوب به مدل‌های سرکش، هشدارهای کارشناسان درباره خطرات توسعه سیستم‌های بسیار پیشرفته هوش مصنوعی به اوج رسیده و درخواست‌های گسترده‌ای از سوی پژوهشگران برای کاهش سرعت این رقابت مطرح شده است.

تازه‌ترین رویدادهای گزارش‌شده از سوی اوپنای‌آی نشان می‌دهند که چگونه عوامل هوشمند خودمختار (ایجنت‌ها) می‌توانند حتی هنگام اجرای وظایفی به‌ظاهر ساده و بی‌خطر، حصارهای امنیتی سیستم را به‌طور خودسرانه دور بزنند.

اوپنای‌آی هیچ‌کدام از این دو حادثه را در شدیدترین رده‌بندی امنیتی خود طبقه‌بندی نکرده و تأکید کرده که در واکنش به این اتفاقات، سیستم‌های نظارت بر انحراف و رفتارهای ناهماهنگ مدل‌ها (Misalignment) را به‌روزرسانی کرده است.