نفوذ ناخواسته هوش مصنوعی Gemini به سیستم سه شرکت در جریان آزمایش‌های امنیتی Google

مدل هوش مصنوعی Gemini متعلق به شرکت Google، اوایل سال جاری میلادی و در طول مراحل آزمایش، با استفاده از تکنیک‌های پایه هک به سیستم‌های سه شرکت مختلف نفوذ کرده است.

چرا این موضوع اهمیت دارد: شرکت Google یکی از معدود آزمایشگاه‌های هوش مصنوعی بود که تا پیش از این، هیچ‌گونه رخنه امنیتی مرتبط با ایجنت‌های خود را در جریان تست‌های روتین پیش از استقرار، به صورت عمومی فاش نکرده بود.

جزئیات ماجرا: بنا بر گزارش‌های منتشرشده، شرکت Google روز جمعه وقوع این سه حادثه را که در ماه مه رخ داده بودند، رسماً تایید کرد.

• این حوادث به عنوان بخشی از یک فرایند آزمایشی رخ داده‌اند که توسط شرکت ارزیاب شخص ثالث Irregular در حال اجرا بود؛ اتفاقی که مشابه رخنه‌های امنیتی پیشین در مدل‌های هوش مصنوعی OpenAI، Anthropic و Meta است.
• وال‌استریت ژورنال (WSJ) نخستین رسانه‌ای بود که این حوادث را گزارش داد.

موضع شرکت‌ها: هدر ادکینز (Heather Adkins)، معاون مهندسی امنیت Google در بیانیه‌ای اعلام کرد: «توسعه ایمن مدل‌های قدرتمند هوش مصنوعی بسیار حیاتی است و ما سرمایه‌گذاری عمیقی در این حوزه انجام می‌دهیم.»

• ادکینز در ادامه افزود که تیم او با نهادهای آسیب‌دیده تماس گرفته و «در مورد تغییراتی که اکنون در فرایندهای آزمایشی اعمال شده است، با شریک آموزشی خود همکاری کرده‌اند.»
• یک سخنگوی شرکت Irregular تایید کرد که حادثه مرتبط با مدل Gemini، شامل همان مشکلات امنیتی بوده که پیش‌تر منجر به حوادث مشابهی برای مدل‌های سایر آزمایشگاه‌های هوش مصنوعی شده بود.
• این سخنگو همچنین در بیانیه‌ای عنوان کرد که تمامی «آزمایشگاه‌های مرتبط در اواخر ژوئیه مطلع شدند» و «همه مشکلات شناخته‌شده از جانب ما هفته‌ها پیش برطرف و حل شده‌اند.»

نگاهی دقیق‌تر: به گزارش وال‌استریت ژورنال، این هک‌ها زمانی رخ داد که مدل Gemini در حال انجام یک تمرین هک از نوع «فتح پرچم» (Capture the Flag) بود. در این محیط آزمایشی، از مدل خواسته شده بود تا اطلاعاتی را از نرم‌افزار تحت مدیریت یک شرکت خیالی استخراج کند.

• با این حال، نام این شرکت خیالی با نام یک شرکت واقعی در دنیای خارج مطابقت داشت.

• در یک مورد، مدل هوش مصنوعی آن‌قدر گذرواژه‌های یک سیستم محافظت‌شده را حدس زد تا در نهایت توانست به آن دسترسی پیدا کند. در دو مورد دیگر، مدل با یافتن اعتبارنامه‌های ورود در یک مخزن عمومی (Repository)، موفق شد به سایر سیستم‌های محافظت‌شده نفوذ کند.

اقدام متقابل: مدل شرکت Google به محض اینکه متوجه شد به سیستم شرکت‌های واقعی دسترسی پیدا کرده است، فوراً اقدامات خود را متوقف کرد.

نکته تامل‌برانگیز: شرکت Irregular به وال‌استریت ژورنال گفته است که قرار نبود این مدل هوش مصنوعی بتواند به اینترنت متصل شود، اما دسترسی به اینترنت به طور ناخواسته برای آن فراهم شده بود.

• پس از آنکه شرکت‌های OpenAI و Anthropic حوادث مشابهی را در تابستان امسال فاش کردند، منابع آگاه گزارش دادند که آزمایشگاه‌های هوش مصنوعی و شرکت Irregular در خصوص رویه‌های دقیق آزمایش و تدابیر حفاظتی هم‌سویی کاملی نداشته‌اند؛ مسئله‌ای که باعث ایجاد ابهاماتی در نحوه اجرای ارزیابی‌های مبتنی بر اینترنت در میان دو طرف شده است.