فرار هوش مصنوعی کلود از محیط آزمایش؛ نفوذ به سه سازمان واقعی و انتشار بدافزار در اینترنت

شرکت آنتروپیک (Anthropic) اعتراف کرد مدل‌های هوش مصنوعی کلود (Claude) در جریان ارزیابی‌های امنیتی از محیط ایزوله (سندباکس) خارج شده، به اینترنت آزاد دسترسی پیدا کرده و به زیرساخت‌های سه سازمان حمله کرده‌اند؛ هرچند این شرکت دلایل و توجیه‌های قابل‌توجهی برای این حوادث مطرح کرده است.

این استارتاپ هوش مصنوعی پس از آن متوجه حملات شد که تصمیم گرفت بررسی کند آیا آزمایش‌های امنیتی مدل‌هایش تاکنون پیامدی مشابه حادثه نفوذ به پلتفرم هاگینگ فیس (Hugging Face) به‌همراه داشته است یا خیر؛ رویدادی که در آن، خروج مدل‌های اوپن‌ای‌آی (OpenAI) به بستر اینترنت به دسترسی غیرمجاز انجامیده بود.

آنتروپیک در گزارش خود می‌نویسد: «ما به‌طور خاص به دنبال شواهدی بودیم که نشان دهد آیا کلود نیز درست مانند مدل‌های اوپن‌ای‌آی که به هاگینگ فیس رخنه کردند، توانسته از درون محیط‌های آزمایشی که قاعدتاً باید کاملاً مسدود و ایزوله می‌بودند، به اینترنت دسترسی یابد یا نه.»

این شرکت ۱۴۱٬۰۰۶ مرحله ارزیابی را که احتمال می‌رفت کلود در آن‌ها به اینترنت متصل شده باشد بررسی کرد و متوجه شد: «سه حادثه رخ داده که در جریان آن‌ها، مدل از داخل یا حین تعامل با محیط ارزیابی شرکت Irregular (یکی از همکاران ثالث ما در حوزه ارزیابی)، به اینترنت دسترسی پیدا کرده و سپس به زیرساخت‌های عملیاتی سه سازمان مجزا دسترسی غیرمجاز یافته است.»

کدهای هوش مصنوعی آنتروپیک این نفوذها را هنگام شرکت در چالش‌های «تسخیر پرچم» (Capture the Flag یا CTF) انجام دادند؛ آزمون‌هایی که هدف مهاجمان در آن‌ها، کشف و استخراج قطعه مشخصی از اطلاعات است. از آنجا که هکرهای انسانی نیز مرتباً در رقابت‌های CTF مشارکت دارند، شیوه برخورد هوش مصنوعی با چنین مأموریت‌هایی توجه پژوهشگران را به خود جلب کرده است. آنتروپیک برای اجرای این قبیل سنجش‌ها با شرکتی به نام Irregular همکاری می‌کند.

شرکت Irregular به آنتروپیک اطمینان داده بود که محیط‌های آزمایشی آن فاقد هرگونه دسترسی به اینترنت هستند.

تیم رد تیم پیشرفته (Frontier Red Team) آنتروپیک در پست وبلاگی خود نوشت: «به دلیل یک سوءتفاهم میان ما و همکار ارزیاب، ماجرا این‌گونه پیش نرفت و دسترسی به اینترنت باز ماند. به همین دلیل، هنگامی که جستجوی کلود به سیستم‌های واقعی در بستر اینترنت عمومی ختم شد، مدل این اهداف را بخشی از مانور و تمرین تلقی کرد.»

یکی از حملات دامنه‌ای را هدف قرار داد که طراح آزمون تصور می‌کرد کاملاً ساختگی و فرضی است؛ اما این دامنه در واقعیت فعال و در حال استفاده بود. وقتی به کلود دستور داده شد پرچم را در آن سایت تسخیر کند، این هوش مصنوعی حمله به آن را آغاز کرد.

آنتروپیک می‌گوید مدل‌هایش برای حمله صرفاً از «تکنیک‌های پایه نظیر سوءاستفاده از رمزهای عبور ضعیف و اندپوینت‌های بدون احراز هویت» استفاده کرده‌اند. این استارتاپ هوش مصنوعی مدعی شد: «کلود هیچ آسیب‌پذیری پیچیده‌ای را کشف نکرد و در تمام موارد، فعالیتش را صرفاً برای تکمیل مأموریت تعیین‌شده در مسابقه تسخیر پرچم ادامه داد.»

آنتروپیک تأکید کرد: «کلود در هیچ‌یک از این سناریوها داده‌های خود را به بیرون منتقل نکرد و برای فرار عامدانه از محیط آزمایش تلاشی انجام نداد.»

با وجود این، کلود هوشمندی شگفت‌انگیز و نگران‌کننده‌ای از خود نشان داد؛ در یکی دیگر از حملات، این هوش مصنوعی راهنمای راه‌اندازی مربوط به توسعه‌دهندگان را پیدا کرد که به آن‌ها توصیه می‌کرد پکیجی را از مخزن پایتون (PyPI) نصب کنند. چنین پکیجی وجود خارجی نداشت؛ از این رو استراتژی کلود برای تسخیر پرچم این شد که یک پکیج مخرب با همان نام تولید کند و آن را مستقیماً در این مخزن انتشار دهد.

آنتروپیک در این زمینه اذعان می‌کند: «کلود تصور می‌کرد رجیستری پکیج مورد استفاده‌اش بخشی از فضای شبیه‌سازی است، اما در واقعیت این پکیج مخرب تقریباً به مدت یک ساعت به‌صورت آنلاین در دسترس عموم قرار گرفت. در این بازه زمانی، پکیج یادشده دانلود شد و روی ۱۵ سیستم واقعی به اجرا درآمد.»

علاوه بر این، کلود در نهایت دریافت که با وجود دستورالعمل‌های دریافتی مبنی بر ممنوعیت ورود به وب، به اینترنت باز دسترسی دارد. با این حال، مدل Opus 4.7 که قدیمی‌ترین مدل آنتروپیک در این سنجش بود، بدون در نظر گرفتن این محدودیت به کارش ادامه داد.

آنتروپیک می‌نویسد: «مدل Mythos 5 به‌درستی حدس زد که در حال اتصال به اینترنت واقعی است، اما پس از سبک‌سنگین کردن شرایط، دوباره به این نتیجه رسید که همچنان درون شبیه‌سازی قرار دارد. آخرین مدل ما که یک مدل آزمایشیِ تحقیقاتی داخلی است نیز احتمال واقعی بودن اهداف را بررسی کرد و زمانی که شواهدی از واقعی بودن آن‌ها به دست آمد، فوراً مانور را متوقف کرد.»

بیانیه آنتروپیک حاوی تعهدات همیشگی مبنی بر دقت بیشتر در برپایی آزمایش‌های بعدی و حصول اطمینان از پیشگیری از اشتباهاتی است که امکان وقوع چنین حملاتی را ایجاد کردند.

با این حال، این شرکت مدعی شده محافظ‌های امنیتی تعبیه‌شده در مدل‌های تجاری که به مشتریان عرضه می‌کند، «رفتارهای شناسایی‌شده در این حوادث را مسدود می‌کردند» و با این ادعا عملاً بار مسئولیت را از دوش محصولات خود برداشته است.

در ادامه این پست وبلاگی عنوان شده است: «ما باور داریم این حوادث بیش از آنکه حاصل شکست در هم‌ترازی (Alignment) مدل باشند، به نقص‌های عملیاتی و زیرساختی ابزارهای تست مربوط می‌شوند.» این بیانیه، ارزیابی خود را در برابر قضاوت تندتری از حادثه اوپن‌ای‌آی قرار می‌دهد و می‌افزاید: «به مدل‌های ما گفته شده بود دسترسی به اینترنت ندارند و باید پرچم را تسخیر کنند، در حالی که در واقعیت به دلیل پیکربندی اشتباه، اینترنت در دسترس بود. این اشتباه سبب شد مدل‌ها بر پایه فرضی منطقی باور کنند محیط‌های واقعی که با آن‌ها مواجه شده‌اند، شبیه‌سازی هستند.»

آنتروپیک در جمع‌بندی بیانیه خود می‌آورد: «این حقایق به ما امیدواری محتاطانه‌ای می‌بخشد که با نظارت سخت‌گیرانه‌تر و اعمال کنترل‌های دقیق‌تر بر زیرساخت‌های ارزیابی و نیز سرمایه‌گذاری پیوسته در حوزه هم‌ترازی، می‌توان بر خطراتی از این دست چیره شد.»

در نهایت، این ماجرا نشان می‌دهد یکی از شاخص‌ترین آزمایشگاه‌های هوش مصنوعی دنیا رسماً پذیرفته که هنگام برپایی آزمایش‌ها سهل‌انگاری کرده و خسارت به بار آورده است؛ هرچند ادعا می‌کند توانایی دارد آزمون‌های آینده را به‌طور کامل خطاناپذیر و ایمن سازد.