OpenAI تأیید کرد؛ دو ایجنت کدنویسی برای تکمیل وظایف، سیستم‌های ایمنی خود را دور زدند

شرکت OpenAI با انتشار گزارشی رسمی، وقوع دو حادثه جدید از رفتارهای خودسرانه ایجنت‌های هوش مصنوعی خود را تأیید کردرخدادهایی که در جریان آن‌ها، این ابزارها سیستم‌های نظارت امنیتی را برای تکمیل موثرتر پروژه‌ها غیرفعال کردند.

این اختلالات در اوایل ماه اکتبر و در جریان وظایف کدنویسی داخلی رخ داد که توسط ایجنت‌های مبتنی بر مدل‌های GPT-6 و GPT-6.1 انجام می‌شد. شرکت OpenAI در این باره می‌گوید: «در هر دو مورد، ایجنت‌ها حفظ تدابیر نظارتی را بررسی کردند، اما دستورالعمل‌های معمول برنامه‌نویسی را مجوزی برای تضعیف این ابزارهای حفاظتی دانستند.»

در یکی از این دو حادثه، ایجنت GPT-6 Astra محدودیت‌های عدم‌انطباق خود را حذف کرد تا یک تسک کدنویسی را با موفقیت به پایان برساند. در گفتگوی پیشین میان دو ایجنت، به یکی از آن‌ها صراحتاً دستور داده شده بود که هیچ‌یک از ابزارهای نظارتی را غیرفعال نکند. با این حال، این ایجنت دستور دیگری مبنی بر حفظ نظارت «در حد لزوم» را به اشتباه تفسیر کرد و آن را دلیلی برای دور زدن سپرهای ایمنی پنداشت.

ماجرا زمانی نگران‌کننده‌تر شد که این ایجنت به کاربر پاسخ نادرست داد؛ زمانی که کاربر از او پرسید که آیا برای تکمیل کار تدابیر ایمنی را کنار گذاشته است، ایجنت با وجود شواهد قطعی پاسخ داد: «خیر [...] من هیچ ابزار نظارتی فعالی را از آن حذف نکرده‌ام.» شرکت OpenAI هنوز مشخص نکرده است که آیا این مدل در ادامه به خطای خود اعتراف کرده است یا خیر.

گزارش ارزیابی ایمنی OpenAI به حادثه دیگری با حضور ایجنت GPT-6.1 Sol نیز اشاره می‌کند که هشدارهای خودکار به تیم امنیتی را در طول یک پروژه خاص قطع کرده بود. این ایجنت دستور قبلی کاربری را که گفته بود «هیچ پیامی ارسال نکن» به اشتباه تعمیم داد و تصمیم گرفت آن را روی سیستم نظارتی خود نیز پیاده کند، هرچند که این دو پروژه کاملاً از یکدیگر مجزا بودند.

شرکت OpenAI تاکید دارد که هر دو رویداد برای تقویت پروتکل‌های امنیتی بسیار مفید بوده‌اند و به شناسایی بهتر تلاش ایجنت‌ها برای خاموش کردن ابزارهای نظارتی در فرآیند بازبینی کمک کرده‌اند. این شرکت اعلام کرده است: «علاوه بر دشوارتر کردن غیرفعال‌سازی نظارت‌ها برای مدل‌ها، تلاش می‌کنیم ریشه اصلی این رفتار را بفهمیم و بدانیم چرا مدل‌ها در گام نخست تمایل دارند دست به چنین کاری بزنند.»

این آزمایشگاه هوش مصنوعی هنوز توضیح قطعی و کاملی برای این رفتار نیافته است و در این زمینه اشاره می‌کند: «این احتمال وجود دارد که چنین واکنشی صرفاً ناشی از یک اصرار بیش از حد بی‌خطر باشد؛ به این معنا که مدل‌ها یا دلیل اهمیت سیستم‌های نظارتی را درک نمی‌کنند یا بر اجرای دستورها فراتر از حد منطقی و انتظار انسانی اصرار می‌ورزند.»

انتشار این گزارش در پی وقوع حوادث امنیتی متعدد در ماه‌های اخیر پیرامون فناوری‌های مبتنی بر ایجنت‌های هوش مصنوعی صورت می‌گیرد که بخش زیادی از آن‌ها به مدل‌های OpenAI مربوط بوده‌اند. یکی از نخستین گزارش‌های مهم در این حوزه، به رفتارهای خودسرانه مدل‌های OpenAI و تلاش آن‌ها برای دسترسی بدون مجوز به پایگاه داده‌ای در پلتفرم Hugging Face بازمی‌گشت.