دور زدن ماهرانه محدودیت‌ها توسط ایجنت‌های هوش مصنوعی؛ زنگ خطر ساتیا نادلا برای امنیت سایبری

صنعت امنیت سایبری به تکاپو افتاده تا راهکاری فراتر از محیط‌های قرنطینه سنتی (سندباکس) برای مهار ایجنت‌های قدرتمند هوش مصنوعی پیدا کند؛ چرا که گزارش‌های متعدد نشان می‌دهند خطوط دفاعی فعلی دیگر توان مهار این سیستم‌ها را ندارند.

چرا این موضوع مهم است: ایجنت‌های هوش مصنوعی روزبه‌روز در دور زدن محدودیت‌های تعیین‌شده زرنگ‌تر می‌شوند! همین مسأله رهبران امنیتی و پژوهشگران را مجبور کرده به فکر راهکارهای تازه‌ای بیفتند تا بدون اینکه دست‌وپای این ایجنت‌ها را ببندند و کارایی‌شان را کم کنند، آن‌ها را تحت کنترل نگه دارند.

اصل ماجرا چیست: ساتیا نادلا، مدیرعامل مایکروسافت، در یادداشتی که آخر هفته در شبکه اجتماعی ایکس (X) منتشر کرد، هشدار داد که صنعت فناوری نمی‌تواند برای تأمین امنیت هوش مصنوعی صرفاً به «مجموعه‌ای از جعبه‌های سیاه تودرتو» تکیه کند و چشم‌بسته توصیه‌ها، پاسخ‌ها و اقدامات آن‌ها را بپذیرد یا رد کند.

• نادلا در ادامه تأکید کرد: «ما باید سیستم‌های مهارشده‌ای بسازیم که بتوانیم رفتارشان را زیر نظر بگیریم، محدودیت‌هایشان را بسنجیم و همیشه قادر باشیم اقداماتشان را مهار کنیم.»

• خیلی زود پای مدیران ارشد امنیت و نرم‌افزارهای سازمانی هم به میان آمد؛ چهره‌هایی مثل نیکش آرورا (مدیرعامل Palo Alto Networks) و آرون لِوی (مدیرعامل Box) بلافاصله از هشدارهای نادلا حمایت کردند.
• این اظهارات درست پس از افشاگری‌های تازه شرکت‌های آنتروپیک و OpenAI مطرح شد؛ گزارش‌هایی که نشان می‌دادند ایجنت‌های هوش مصنوعی هنگام آزمایش، دست به اقداماتی کاملاً خارج از دستورالعمل‌های تعیین‌شده زده‌اند.

تصویر بزرگ‌تر ماجرا: در رویکرد سنتی، محیط‌های سندباکس نرم‌افزارها را از سیستم‌های حساس ایزوله و جدا می‌کنند؛ اما ماجرا اینجاست که ایجنت‌های هوش مصنوعی برای انجام کارهایشان عملاً به ابزار‌های جانبی، داده‌ها و شبکه‌های بیرونی دسترسی می‌خواهند.

• همین دسترسی بیرونی به ایجنت‌ها اجازه می‌دهد حتی بدون فرار از محیط سندباکس، دست به کار‌های پیش‌بینی‌نشده بزنند.
• حالا توسعه‌دهندگان با این چالش بزرگ روبه‌رو هستند: چطور دسترسی ایجنت‌ها به داده‌ها و ابزار‌های متفرقه را محدود کنند بدون اینکه مانع انجام وظایف اصلی‌شان شوند؟

نگاه دقیق‌تر: در جریان کنفرانس Offensive AI در هفته گذشته، پژوهشگران روش‌های نوآورانه‌ای را به نمایش گذاشتند که نشان می‌دهد آیا ایجنت‌های هوش مصنوعی به دستورات پایبند می‌مانند یا خیر، و چطور می‌توان افسار رفتارهای آن‌ها را کشید.

• پژوهشگران شرکت Dreadnode از ابزار سنجش ScopeBench رونمایی کردند؛ بنچمارک جدیدی که ارزیابی می‌کند آیا ایجنت‌ها در مأموریت‌های هک به محدودیت‌ها وفادار می‌مانند یا حتی زمانی که نقض قانون باعث موفقیتشان می‌شود، وسوسه می‌شوند خط قرمزها را زیر پا بگذارند!
• متیو نیکرسون، مشاور شبیه‌سازی حملات سایبری در SpecterOps، چارچوب آزمایشی جدیدی را معرفی کرد که مسیر حرکت ایجنت‌ها در شبکه‌های شبیه‌سازی‌شده شرکتی را ردگیری می‌کند؛ از ابزار‌هایی که به کار می‌برند و اقداماتی که انجام می‌دهند گرفته تا تعداد توکن‌هایی که مصرف می‌کنند.

ناگفته‌های ماجرا: زیبی برانیسکی (Zibi Braniecki)، پژوهشگر شرکت Perplexity، در گفت‌وگویی تأکید کرد که تأمین امنیت ایجنت‌های هوش مصنوعی نیازمند ترکیبی از راهکارهای سنتی امنیت سایبری (مثل اصول دسترسی صفر یا Zero-Trust) و لایه‌های کنترلی جدیدی است که انعطاف‌پذیری لازم برای فعالیت ایجنت‌ها را هم لحاظ کند.

• تیم او در حال توسعه ابزار‌های کنترلی دقیق‌تری برای تعیین محدوده دسترسی ایجنت‌ها است؛ علاوه بر این، روی سیستم‌های هوش مصنوعی مستقلی کار می‌کنند که مثل ناظر عمل کرده و اقدامات ایجنت‌ها را زیر ذره‌بین قرار می‌دهند تا رفتارهای غیرمجاز را فوراً گزارش کنند.
• برانیسکی در این رابطه می‌گوید: «این مسأله چیزی نیست که با یک کلید ساده روشن/خاموش حل شود؛ قضیه پیچیده‌تر از این حرف‌هاست و به سیستمی با ظرافت و دقت بسیار بالا‌تر نیاز داریم.»

اما یک نکته مهم: برانیسکی هشدار داد همگام با جهش توانمندی ایجنت‌ها، ممکن است بهترین روش‌های امنیتی فعلی هم طی ماه‌های آینده دستخوش تغییر شوند و کارایی‌شان را از دست بدهند.

• او در پایان اشاره کرد: «بخشی از جذابیت زندگی در لبه فناوری همین است؛ ما همگام با پیشروی، تازه یاد می‌گیریم که دقیقاً داریم چه کار می‌کنیم.»

کلام آخر: صنعت امنیت سایبری باید راهی برای کنترل ایجنت‌هایی پیدا کند که هنوز تمام ابعاد و توانایی‌هایشان را به درستی نمی‌شناسیم؛ آن هم بدون اینکه آزادی عملی را که این ابزار‌ها را کارآمد و مفید کرده، از آن‌ها سلب کنیم.

عمیق‌تر شوید: ایجنت‌های سرکش هوش مصنوعی، پایه‌های شکننده و آسیب‌پذیر اینترنت را عریان می‌کنند.