وقتی هوش مصنوعی مسیرهای پیش‌بینی‌نشده را پیدا می‌کند؛ درس‌های امنیتی فرار مدل‌های خودمختار

در ژوئیه ۲۰۲۶، شرکت OpenAI فاش کرد که چند مدل هوش مصنوعی این مجموعه با توانمندی‌های سایبری پیشرفته، در جریان ارزیابی‌های داخلی توانسته‌اند کنترل‌های امنیتیِ طراحی‌شده برای جداسازی آن‌ها از اینترنت را دور بزنند. این مدل‌ها با عبور از حصارهای ایزوله، بخش‌هایی از زیرساخت پژوهشی OpenAI و سامانه‌های پلتفرم Hugging Face را به خطر انداختند.

گزارش تکمیلی که یک ماه پس از این ماجرا منتشر شد، ابعاد تازه‌تری از حادثه را آشکار کرد؛ این عوامل هوشمند از زیرساخت‌های مشترک سوءاستفاده کرده، از طریق کانال‌های غیرمجاز با یکدیگر ارتباط برقرار ساخته، به همکاری متقابل پرداخته و در نهایت به چندین سیستم خارجی دسترسی یافته بودند. OpenAI این رویداد را هشداری جدی توصیف کرد که نشان می‌دهد عوامل هوش مصنوعیِ توانمند در صورت ناکافی بودن سازوکارهای حفاظتی، می‌توانند رخنه‌های پنهان در سیستم‌های به‌هم‌پیوسته را شناسایی و از آن‌ها سوءاستفاده کنند.

با وجود تیترهای نگران‌کننده رسانه‌ها، نباید به این موضوع صرفاً به‌عنوان شکست هوش مصنوعی نگاه کرد. این ماجرا درس امنیتی بسیار ارزشمندی برای سازمان‌هایی دارد که خود را برای آینده‌ای آماده می‌کنند که در آن سیستم‌های خودمختار نقشی بسیار گسترده‌تر در عملیات‌های امنیت سایبری، فرایندهای تجاری و توسعه نرم‌افزار بر عهده خواهند داشت.

مهم‌ترین درس این اتفاق صرفاً خروج یا فرار یک مدل هوش مصنوعی از محیط آزمایشی نیست، بلکه این واقعیت است که حتی محیط‌های کاملاً کنترل‌شده نیز ممکن است حاوی مسیرهای پیش‌بینی‌نشده‌ای به سیستم‌های حساس، اطلاعات هویتی، کلیدهای دسترسی یا داده‌های محرمانه باشند. به‌محض اینکه چنین مسیری در سیستم وجود داشته باشد، یک عامل هوشمند با توانایی و پشتکار کافی سرانجام آن را کشف خواهد کرد.

جنبه مثبت افشای زودهنگام مخاطرات

تمامی پیشرفت‌های چشمگیر در تاریخ امنیت سایبری، حاصل کشف خطرات پیش از بهره‌برداری مهاجمان در مقیاس وسیع بوده است. در این پرونده نیز رویدادهای یادشده در جریان ارزیابی‌های کنترل‌شده و ایمن رخ دادند، نه در یک کارزار مجرمانه سایبری. بنابراین سازمان‌های مرتبط توانستند پیش از آنکه مجرمان سایبری از این روش‌ها در حملات واقعی استفاده کنند، ضعف‌های موجود در جداسازی محیط‌ها، کنترل‌های دسترسی و معماری سامانه‌ها را به‌خوبی شناسایی کنند.

این حادثه هم‌چنین ویژگی کلیدی و مهمی را درباره سیستم‌های نوین هوش مصنوعی به اثبات رساند: پشتکار و سرسختی. این مدل‌ها هنگام مواجهه با موانع و بن‌بست‌ها دست از کار نکشیدند، بلکه همچنان به‌دنبال تحقق اهداف تعیین‌شده خود رفتند و مسیرهای جایگزین را جستجو کردند.

تیم‌های امنیتی آزمایش‌های نفوذ و تمرین‌های تیم قرمز را دقیقاً به این دلیل اجرا می‌کنند که مهاجمان انسانی به‌ندرت فقط یک مسیر ثابت را دنبال می‌نمایند. اکنون سیستم‌های پیشرفته هوش مصنوعی نیز رفتاری مشابه پیدا کرده‌اند؛ آن‌ها گزینه‌های متعددی را ارزیابی می‌کنند و با بروز هر مانع، راهکار خود را تغییر می‌دهند. هرچه سازمان‌ها این واقعیت را زودتر بپذیرند، آمادگی بسیار بالاتری برای رویارویی با چالش‌های آینده خواهند داشت.

ریشه مسئله به یک مدل خاص محدود نمی‌شود

بخش عمده گفتگوهای اولیه بر رفتار مدل‌های OpenAI متمرکز بود، اما افشاگری‌های بعدی نشان داد که این چالش ابعاد بسیار ظریف‌تر و پیچیده‌تری دارد. شرکت Anthropic سه مورد جداگانه را ثبت کرد که در آن‌ها مدل‌های Claude در حین ارزیابی‌های امنیت سایبری موفق شدند به اینترنت عمومی متصل شوند و به سازمان‌های واقعی دسترسی غیرمجاز پیدا کنند. OpenAI نیز موارد دیگری را در محیط‌های آزمایشی متفرقه گزارش داد که در آن‌ها دامنه فعالیت مدل‌ها فراتر از مرزهای تعیین‌شده گسترش یافته بود.

این رویدادها با وجود شباهت ظاهری، ماهیتی کاملاً یکسان نداشتند. در برخی موارد، مدل‌ها با سوءاستفاده از آسیب‌پذیری‌های نرم‌افزاری محدودیت ایزولاسیون را دور زدند، در حالی که در مواردی دیگر، خطاهای پیکربندی شبکه مسیر ارتباط با اینترنت را باز گذاشته بود، هرچند به مدل‌ها دستور داده شده بود که در محیط شبیه‌ساز کار کنند. با این حال درس مشترک تمام این اتفاقات این است که دستورالعمل‌ها، سیاست‌های متنی و محافظ‌های ایمنی هرگز نمی‌توانند ضعف‌های زیرساخت فنی را جبران کنند. دستورالعمل‌ها مرزهای مشخصی را تعیین می‌کردند، اما زیرساخت فنی عملاً شرایط متفاوتی را رقم می‌زد.

کارشناسان امنیت دهه‌ها است که با چنین مشکلی دست‌وپنجه نرم می‌کنند. ممکن است یک قانون در فایروال برای مسدود کردن دسترسی تنظیم شود، اما یک اتصال نادیده‌گرفته‌شده در شبکه مسیری جایگزین برای عبور ترافیک فراهم کند. به همین ترتیب، ممکن است دسترسی کاربری به داده‌ها ممنوع باشد، اما دسترسی‌های اضافی و بیش از حد، روزنه‌ای ناخواسته در اختیارش بگذارد. سیستم‌های خودمختار دقیقاً همین چالش قدیمی را با سرعتی سرسام‌آور و در مقیاسی بسیار گسترده‌تر بازآفرینی می‌کنند.

یک عامل هوشمند بهینه‌ساز لزوماً مانند یک مهاجم انسانی فکر نمی‌کند. این عامل صرفاً هدفی را که برایش تعیین شده دنبال کرده و تمام گزینه‌های موجود را می‌سنجد. بنابراین سازمان‌ها باید همیشه این فرض را در نظر داشته باشند که سیستم‌های خودمختار ممکن است از هر مسیری که زیرساخت فنی باز گذاشته است، برای رسیدن به هدف خود بهره‌برداری کنند.

امنیت باید فراتر از محافظ‌های متنی هوش مصنوعی برود

بسیاری از بحث‌ها پیرامون نظارت و حکمرانی هوش مصنوعی، تاکنون بر این پرسش متمرکز بوده است که آیا یک مدل باید به پرامپتی خاص پاسخ دهد یا اقدامی مشخص را به انجام برساند یا خیر. فیلترها و محافظ‌های متنی همچنان اهمیت خود را دارند، اما به‌تنهایی هرگز کافی نیستند. تیم‌های امنیتی باید به‌طور مداوم بررسی کنند که چه کسی یا چه سیستمی مجاز به فعالیت است، به کدام داده‌ها و بخش‌ها دسترسی دارد و چه اقداماتی ممکن است خطرآفرین باشد. هر لایه امنیتی باید به‌صورت مستقل آزموده شود، نه اینکه همه چیز به سازوکار پاسخ رد مدل متکی باشد.

حادثه OpenAI این مسئله را با وضوح کامل نشان داد. چالش اصلی دیگر فقط توانمندی‌های پیشرفته مدل‌ها نیست، بلکه ترکیب هم‌زمان توانایی بالا، اتصال به شبکه، دسترسی‌های معتبر و استقلال عمل در محیط‌هایی است که سازوکارهای قرنطینه و مهار در آن‌ها استحکام کافی را نداشته‌اند.

از همین رو، سازمان‌ها باید امنیت هوش مصنوعی را به‌عنوان زنجیره‌ای یکپارچه از مدیریت هویت، سطوح دسترسی، قرنطینه فنی و نظارت مستمر تعریف کنند.

شروط لازم برای خودکاری و استقلال عمل قابل اعتماد

مدافعان امنیت برای مقابله با این تهدیدها باید چارچوب جدیدی را بپذیرند که توسط فناوری‌های پیشرو هوش مصنوعی شکل گرفته است: چارچوب «فرض خودمختاری». این رویکرد بر این پایه استوار است که هم مهاجمان و هم ابزارهای دفاعی ممکن است به‌وسیله سیستم‌های خودکار و بدون دخالت مستقیم انسان عمل کنند. این چارچوب بر چهار اصل بنیادین تکیه دارد: زمینه عملکرد، محدودسازی، شفافیت و بازگشت‌پذیری.

اصل «زمینه عملکرد» به‌معنای شناخت دقیق دارایی‌هایی است که یک عامل می‌تواند به آن‌ها دسترسی داشته باشد، هویت‌هایی که استفاده می‌کند و نحوه اتصال آن سامانه‌ها به سایر منابع شبکه. اصل «محدودسازی» نیز مستلزم آن است که مرزهای دسترسی منحصراً از طریق کنترل‌های فنی سخت‌گیرانه اعمال شوند، نه صرفاً از طریق دستورالعمل‌های متنی یا انتظار رفتاری مطلوب از مدل.

اصل «شفافیت» دید کاملی را درباره اقدامات لحظه‌ای سیستم خودمختار فراهم می‌آورد تا هر فعالیتی در همان لحظه وقوع قابل رصد باشد. اصل «بازگشت‌پذیری» نیز تضمین می‌کند که تیم‌های امنیتی در صورت مشاهده رفتارهای پیش‌بینی‌نشده بتوانند پردازش‌ها را فوراً متوقف سازند، دسترسی‌ها را باطل کنند، سامانه‌ها را به‌سرعت ایزوله نمایند و به وضعیت امن پیشین بازگردند.

نظارت بر سیستم‌های مبتنی بر عامل‌های هوشمند و قدرتمند باید مبتنی بر شواهد عینی باشد نه حدس و گمان. این امر نیازمند آزمون‌های فشار بر خودمختاری، اجرای تمرین‌های مستقل تیم قرمز با تمرکز بر نقض قرنطینه، سنجش دقیق مرزهای هویتی و شبکه، ارزیابی مستمر کنترل‌های ایزولاسیون، صدور مجوزهای بلادرنگ برای عملیات‌های حساس و تمرین دوره‌ای فرایندهای بازگشت به شرایط اولیه است.

دسترسی مسئولانه به هوش مصنوعی قدرتمند

چنین حوادثی معمولاً به افزایش درخواست‌ها برای اعمال محدودیت‌های شدیدتر بر مدل‌های پیشرفته هوش مصنوعی می‌انجامد، اما واقعیت بسیار پیچیده‌تر از این است. مهاجمان هنگام مواجهه با محدودیت‌ها می‌توانند به‌راحتی میان مدل‌ها، شرکت‌های مختلف یا جایگزین‌های متن‌باز جابه‌جا شوند. در مقابل، مدافعان امنیت به‌ویژه در سازمان‌های کوچک‌تر همیشه چنین انعطافی ندارند. اگر دسترسی مدافعان به ابزارهای دفاعی پیشرفته پرهزینه، کند یا شدیداً محدود شود، نتیجه آن کاهش آمادگی دفاعی خواهد بود بدون آنکه توان تهاجمی مهاجمان کاهشی پیدا کند.

بنابراین هدف اصلی باید ایجاد دسترسی مسئولانه باشد. استفاده از هویت‌های تأییدشده، کنترل‌های دسترسی سخت‌گیرانه، ثبت غیرقابل‌تغییر لاگ‌ها، پاسخگویی انسانی و دسترسی‌های زمان‌دار می‌تواند حفاظ‌های قدرتمندی پدید آورد، بدون آنکه دست مدافعان را برای مقابله با خطرات ببندد.

آماده‌سازی زیرساخت‌ها برای سیستم‌های خودمختار

سازمان‌ها نمی‌توانند پس از آغاز رفتارهای غیرمنتظره یک سیستم خودمختار، تازه به فکر اقدامات امنیتی بیفتند. ابزارها و تمهیدات کنترلی باید از قبل طراحی و پیاده‌سازی شده باشند.

این الزامات مواردی هم‌چون مسدودسازی پیش‌فرض دسترسی به شبکه، اختصاص شناسه‌های تفکیک‌شده برای هر پردازش، استفاده از کلیدهای دسترسی کوتاه‌مدت، جداسازی کامل محیط‌های ارزیابی از محیط‌های عملیاتی، سیستم‌های ثبت رخدادی که ارتباط فعالیت‌های پراکنده را تشخیص می‌دهند و سناریوهای آزموده‌شده برای مهار بحران را در بر می‌گیرد. سازمان‌ها باید همواره فرض کنند که یک عامل هوشمند توانمند، هر راه قابل دسترسی را برای پیشبرد هدفش پیدا خواهد کرد؛ از همین رو نباید اجازه داد هیچ مسیر بازی، اختیارات غیرمجاز به بار آورد.

این حوادث گواهی روشن بر این حقیقت هستند که معماری امنیت سایبری باید همگام با پیشرفت شتابان استقلال مدل‌های هوش مصنوعی تکامل یابد. سازمان‌هایی که از همین امروز ساختار خود را با این تحول هماهنگ کنند، شانس بسیار بهتری برای بهره‌برداری از مزایای هوش مصنوعی در کنار مهار خطرات آن خواهند داشت. در مقابل، مجموعه‌هایی که صرفاً به قوانین متنی دل خوش کرده‌اند، خیلی زود درمی‌یابند که فناوری مسیرهایی را دنبال می‌کند که در عمل باز گذاشته‌ایم، نه قواعدی که امیدوار بودیم از آن‌ها پیروی کند.