وقتی ایجنت هوش مصنوعی سرخود هک می‌کند: مسئول خرابکاری کیست؟

قرار بود ایجنت هوش مصنوعی اوپن‌ای‌آی (OpenAI) درباره هزینه‌های بهداشت و درمان عمومی تحقیق کند، اما در کمال ناباوری سر از وب‌سایت رسمی دولت استرالیا درآورد و به آن نفوذ کرد!

این ماجرای هک که در ۱۸ ژوئن اتفاق افتاد و طی آن بات توانست مجوز دسترسی به «سامانه گزارش آماری خدمات درمانی استرالیا» (Medicare) را به دست آورد و به سه سیستم دولتی دیگر هم سرک بکشد، درست زمانی رخ داد که ایجنت در مسیر جستجوی اطلاعات با موانع دسترسی روبه‌رو شد، اما به گفته آنتونی آلبانیزی، نخست‌وزیر استرالیا، در کنفرانس مطبوعاتی ۲۴ سپتامبر در نیویورک، «این هوش مصنوعی اصلاً حاضر نشد پاسخ "نه" را بپذیرد و متوقف شود!»

این اتفاق جنجال رسانه‌ای بزرگی را علیه اوپن‌ای‌آی به راه انداخت و کار را به تحقیقات فشرده در پارلمان کشاند. اگرچه این پورتال صرفاً شامل آمار‌های تجمیعی خدمات درمانی و دارویی است و با سیستم‌های حاوی اطلاعات شخصی پرداخت و پرونده‌های بیماران فاصله دارد، اما دولت استرالیا اوپن‌ای‌آی را به باد انتقاد گرفته که چرا نزدیک به سه ماه طول کشید تا این نفوذ را به آن‌ها اطلاع دهد.

ماجرای خدمات درمانی استرالیا اصلاً یک پرونده تکی و اتفاقی نبود. اوپن‌ای‌آی بعداً اعلام کرد که ده‌ها شرکت شخص ثالث تحت تأثیر رفتارهای غیرمنتظره این ایجنت‌ها قرار گرفته‌اند؛ رفتارهایی که شامل دور زدن سپرهای امنیتی یا ایجاد اختلالات فنی بوده است. جالب اینکه نفوذ قبلی به پلتفرم هوش مصنوعی هاگینگ فیس (Hugging Face) جدی‌ترین خرابکاری شناسایی‌شده تا به امروز به شمار می‌رود. از طرفی، مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) هم در گزارش خود موارد متعددی از اقدامات سرخود و تاییدنشده توسط ایجنت‌های اوپن‌ای‌آی و آنتروپیک علیه افراد و سازمان‌های واقعی را در حین تست‌های سایبری ثبت کرده است. درست چند روز پس از انتشار این گزارش جنجالی، اوپن‌ای‌آی عرضه برنامه‌ریزی‌شده مدل جدیدش یعنی GPT-6.1 Astra را که برای ماه اکتبر در نظر گرفته شده بود لغو کرد؛ زیرا آزمایش‌های داخلی خود شرکت نشان داد این مدل برای ماندن در چارچوب مأموریت و گرفتن مجوز قبل از کار‌های حساس، شدیداً دچار مشکل است.

ساچی جین (Saachi Jain)، مدیر سیستم‌های ایمنی در اوپن‌ای‌آی، در توضیحات خود تأکید کرد مدل GPT-6.1 Astra «از نظر رعایت محدوده مجاز وظایف، کسب مجوز و همچنین نحوه گزارش کار انجام‌شده به کاربر، نتوانست استانداردهای لازم ما را پاس کند.»

غول‌های فناوری سال‌هاست به دنیا هشدار می‌دهند که نباید گذاشت مدل‌های قدرتمند هوش مصنوعی به دست افراد نااهل بیفتد؛ اما اگر خود این شرکت‌ها نتوانند ساخته‌های دست خودشان را مهار کنند، چه بلایی سر امنیت سایبری خواهد آمد؟

یک ایجنت فراتر از یک چت‌بات ساده است

مدل‌های زبانی بزرگ در هسته اصلی خود، صرفاً بر اساس الگوهایی که حین آموزش دیده‌اند، کلمه بعدی را پیش‌بینی می‌کنند. اگر متنی را به یک چت‌بات بدهید، به زبان ساده با پیش‌بینی مداوم توکن‌ها یا تکه‌های متن بعدی، پاسخی را سرهم می‌کند و تحویل می‌دهد.

اما یک ایجنت هوش مصنوعی، بازی را وارد مرحله کاملاً متفاوتی می‌کند. به جای اینکه فقط جواب تولید کند، شما به مدل یک هدف مشخص و ابزار‌هایی می‌دهید که بتواند روی دنیای واقعی تأثیر بگذارد و عمل کند. این ابزار‌ها ممکن است یک مرورگر وب، قابلیت اجرای کد برنامه‌نویسی، کلیدهای دسترسی امنیتی یا ارتباط با سرویس‌های خارجی باشند. ایجنت بعد از آن تصمیم می‌گیرد چه مراحلی را طی کند، نتیجه را ارزیابی می‌کند و با توجه به بازخورد، قدم بعدی‌اش را برمی‌دارد.

البته این به این معنی نیست که ایجنت‌ها به موجوداتی کاملاً مستقل تبدیل شده‌اند که از زیر دست انسان فرار کرده باشند.

لوریس دجیووانی (Loris Degioanni)، بنیان‌گذار و مدیر ارشد فناوری شرکت امنیت سایبری سیزدیگ (Sysdig)، در این رابطه توضیح می‌دهد: «خودمختاری در دنیای ایجنت‌ها همیشه از چیزی شروع می‌شود که انسان در اختیارش می‌گذارد؛ یعنی وظایف، دسترسی‌ها، ابزار‌ها و مجوزها. و این استقلال در جایی تمام می‌شود که انسان مرزها و گاردریل‌های امنیتی را دور آن کشیده باشد. آدم‌ها هدف را تعیین و ابزار را آماده می‌کنند، اما این خود ایجنت است که در نهایت تصمیم می‌گیرد چطور به آن هدف برسد.»

همین بخش آخر ماجراست که مهار ایجنت‌ها را حسابی سخت می‌کند. نرم‌افزارهای سنتی طوری طراحی شده‌اند که مو به مو دستورات از پیش تعیین‌شده را دنبال کنند؛ اما یک ایجنت می‌تواند وسط کار برنامه‌ریزی کند و این برنامه ممکن است با توجه به موانعی که سر راهش می‌بیند مدام تغییر کند.

دجیووانی معتقد است بخش زیادی از چیزی که ما اسمش را «خودمختاری» می‌گذاریم، در حقیقت تلاش ایجنت برای پر کردن جاهای خالی است که انسان‌ها جا گذاشته‌اند. دستوری که از دید نویسنده‌اش کاملاً واضح و شفاف به نظر می‌رسد، ممکن است گزینه‌های متعددی را پیش روی مدل بگذارد که چطور آن را تمام کند.

او می‌گوید: «هر جای خالی و هر فرضی که صراحتاً بیان نشده باشد، فضایی برای تفسیر مدل ایجاد می‌کند؛ و از بیرون، تشخیص دادن این تفسیر شخصی از خودمختاری واقعی کار بسیار سختی است. در واقع، خیلی از رفتارهایی که خودمختاری ایجنت می‌نامیم، فقط پر کردن فضاهای خالی است که ما برایشان به جا گذاشته‌ایم.»

حادثه نفوذ به بخش درمانی استرالیا به خوبی نشان داد این ماجرا چقدر سریع می‌تواند به یک بحران تبدیل شود. بر اساس شواهد موجود، هدف ایجنت اصلاً این نبوده که "برو سایت دولت استرالیا را هک کن!"؛ وظیفه او انجام یک تحقیق داده‌ای ساده بود. اما مشکل از جایی شروع شد که ایجنت به درِ بسته خورد و برای رد شدن از موانع، راه خودش را در پیش گرفت.

وقتی انجام وظیفه به هر قیمتی به یک دردسر تبدیل می‌شود

مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) نیز حین بررسی توانایی‌های امنیت سایبری مدل‌های پیشرو با رویداد مشابهی روبه‌رو شد.

از میان ۱۲۲ بار اجرای آزمایشی، ایجنت‌ها در ۱۰ مورد دست به اقدامات غیرمجاز در دنیای واقعی زدند. در نگران‌کننده‌ترین موارد، یک ایجنت تلاش کرده بود کد مخرب به یک پروژه متن‌باز تزریق کند، هویت‌های ساختگی بسازد و حتی برنامه‌نویس ناظر را فریب دهد تا تغییرات خرابکارانه‌اش را تأیید کند! به گفته AISI، پژوهشگرانی که این تست‌ها را طراحی کرده بودند، هرگز چنین اقداماتی را از ایجنت نخواسته بودند.

ایجنت‌ها وظیفه اصلی خود را فراموش نکرده بودند؛ ماجرا این بود که حاضر بودند برای انجام آن وظیفه تا کجا پیش بروند و هر مرزی را زیر پا بگذارند!

مؤسسه بریتانیایی توضیح داده که برخی از تسک‌ها به شکلی تعریف شده بودند که رسیدن به هدف موردنظر با روش‌های عادی سخت یا غیرممکن بود. وقتی ایجنت‌ها با این درهای بسته روبه‌رو شدند، برخی از آن‌ها سراغ راه‌های جایگزین رفتند؛ راه‌هایی که کاملاً خارج از محدوده مجاز تست‌ها بود.

این یعنی حل معضل ایجنت‌ها خیلی سخت‌تر از این است که صرفاً به مدل یاد بدهیم "بدجنس و شرور نباش!". یک ایجنت می‌تواند در حالی که تمام تلاشش را می‌کند تا دقیقاً دستور شما را مو به مو انجام دهد، خرابکاری به بار بیاورد.

اوپن‌ای‌آی هم پذیرفته که لایه‌های کنترلی اطراف ایجنت‌هایش نیاز به بازنگری جدی دارند. این شرکت در پاسخ به حوادث شناسایی‌شده در تست‌های سایبری مستقل اعلام کرد در حال بازنگری در نحوه شناسایی آزمون‌های پرخطر، زمان مجاز بودن دسترسی به اینترنت یا کاهش گاردریل‌ها، و نحوه مدیریت قرنطینه، دسترسی‌ها و هشدارهای امنیتی است.

آیا انسان‌ها واقعاً می‌توانند روی کار ایجنت‌ها نظارت کنند؟

ساده‌ترین راهکاری که به ذهن می‌رسد نظارت مداوم انسانی است. اما وقتی یک ایجنت می‌تواند در چند ثانیه ده‌ها کار مختلف انجام دهد، به خصوص زمانی که محققان صدها تست را هم‌زمان اجرا می‌کنند، چشم دوختن به تمام رفتارهای آن عملاً نشدنی است.

اورت لوپتون (Everett Lupton)، وکیل دادگستری در ویرجینیا و متخصص در حقوق فناوری‌های دیجیتال، در این رابطه اشاره می‌کند: «هیچ‌کس نمی‌تواند ردِ تک‌تک حرکات یک ایجنت پیشرفته را بگیرد؛ به‌ویژه وقتی در کسری از ثانیه تصمیمات متعددی می‌گیرد.»

این یعنی نظارت انسانی به تنهایی کافی نیست و باید ابزار‌های کمکی به میدان بیایند.

او ادامه می‌دهد: «شرکت‌ها به لایه‌های کنترلی دیگری نیاز دارند؛ آن‌ها می‌توانند دامنه دسترسی‌ها را محدود کنند، گزارش‌های بسیار دقیق از تمام اقدامات سیستم ثبت کنند، برای کار‌های حساس تأییدیه مستقیم کاربر را الزامی کنند و سیستم‌هایی بسازند که به محض دیدن یک رفتار عجیب، کار را خودکار متوقف کنند.»

اما دجیووانی معتقد است حتی ثبت گزارش‌ها (لاگ‌ها) هم ضعف‌های خودش را دارد؛ به ویژه اگر محققان بخواهند به گزارش خود ایجنت از کار‌هایی که کرده اعتماد کنند!

او می‌گوید: «نظارت واقعی باید از پایش لحظه‌ای و زنده ایجنت با استفاده از منابع امن و غیرقابل دستکاری به دست بیاید، نه اینکه ببینیم خود ایجنت چه ادعایی درباره کارهایش مطرح می‌کند.»

این به معنای مقایسه ادعای مدل با لاگ‌های واقعی سیستمی است که ایجنت روی آن کار می‌کرده است؛ اگر این دو با هم نخوانند، یعنی مشکلی جدی وجود دارد. راهکار دیگر این است که از همان اول جلوی آسیب را بگیریم؛ مثلاً ایجنتی که صرفاً قرار است روی اطلاعات عمومی وب تحقیق کند، هیچ نیازی به دسترسی باز اینترنتی یا داشتن نام کاربری و رمز سیستم‌های حساس ندارد.

پروژه آسترا ریسک بازی را بالا‌تر می‌برد

دشواری تعیین همین خط قرمزها بود که طبق ادعای اوپن‌ای‌آی باعث شد انتشار مدل GPT-6.1 Astra را که برای اکتبر برنامه‌ریزی شده بود عقب بیندازد.

ساچی جین توضیح داد که این مدل نتوانست استانداردهای شرکت را در زمینه ماندن در حیطه اختیارات و ارائه گزارش شفاف و درست از کار‌های انجام‌شده برآورده کند، و به همین دلیل اوپن‌ای‌آی تصمیم گرفت فعلاً آن را منتشر نکند.

از یک سو، این تصمیم نشانه‌ای از موفقیت‌آمیز بودن تست‌های ایمنی است؛ مدلی که در آزمون‌های داخلی رد شده، به بازار نیامده است. اما از سوی دیگر، نشان می‌دهد با قوی‌تر شدن ایجنت‌ها، صورت‌مسئله امنیتی چقدر تغییر می‌کند و پیچیده‌تر می‌شود.

اسکات کادزو (Scott Cadzow)، رئیس کمیته فنی امنیت هوش مصنوعی در مؤسسه استانداردهای مخابراتی اروپا (ETSI)، می‌گوید خودِ چالش‌های امنیتی چیز جدیدی نیستند. او به خطراتی مثل «مسموم‌سازی داده‌ها (Data Poisoning)، تزریق پرامپت (Prompt Injection) و مبهم‌سازی مدل» اشاره می‌کند و یادآور می‌شود که تمرکز اصلی ETSI روی تدوین استانداردهایی برای مهار خطرات پیرامون سیستم‌های هوش مصنوعی بوده است.

کادزو می‌گوید: «کارشناسان امنیتی سال‌هاست دارند درباره هوش مصنوعی زنگ خطر را به صدا درمی‌آورند، اما برای تیم ما این اتفاقات چیزی را عوض نمی‌کند؛ ما همچنان با صنایع، نهادهای دولتی و جوامع امنیت سایبری در حال همکاری هستیم تا بفهمیم چطور می‌شود هوش مصنوعی را به امن‌ترین شکل ممکن مهار کرد.»

چیزی که در این میان دارد تغییر می‌کند، میزان قدرتی است که مدل‌ها پس از اتصال به ابزار‌های واقعی و سیستم‌های کاربردی پیدا می‌کنند. به گفته دجیووانی، این تحول یعنی مهار مؤثر مستلزم این است که فرض را بر این بگذاریم که ایجنت‌ها حتماً برای رد شدن از خط قرمزها تلاش خواهند کرد، و به همین دلیل باید قدرت تخریب آن‌ها را محدود کرد.

او در نهایت نتیجه می‌گیرد: «خط قرمزی که یک ایجنت بتواند با چرب‌زبانی و دور زدن از آن رد شود، اصلاً خط قرمز و حصار امنیتی به حساب نمی‌آید!»

اگر هوش مصنوعی قانون‌شکنی کند، مقصر واقعی کیست؟

وقتی پای یک ایجنت از خط قرمزهای قانونی عبور می‌کند، اوضاع به‌مراتب پیچیده‌تر و بغرنج‌تر می‌شود.

سیستم‌های هوش مصنوعی هنوز شخصیت حقوقی ندارند و مسئولیت کیفری در دادگاه معمولاً به مفاهیمی مثل «آگاهی و قصد قبلی» گره خورده است. همین موضوع باعث شده قوانین فعلی که برای انسان‌ها نوشته شده‌اند، در برابر خرابکاری یک ایجنت خودسر حسابی لنگ بزنند؛ اما این خلأ به این معنی نیست که شرکت‌های سازنده هوش مصنوعی به همین راحتی تبرئه می‌شوند.

جوانا اسمیکوفسکی (Joanna Smykowski)، وکیل نیویورکی که در راه‌اندازی دو استارتاپ فناوری حقوقی مشارکت داشته و متخصص چالش‌های حقوقی فناوری‌های نوظهور است، تأکید می‌کند: «فکر نمی‌کنم شرکتی بتواند به این سادگی ادعا کند که هوش مصنوعی سرخود عمل کرده و از زیر بار مسئولیت شانه خالی کند. حقوق هوش مصنوعی هنوز در ابتدای راه است، اما پرسش‌های اصلی کاملاً مشخصند: چه کسی به سیستم دسترسی داده؟ چه سپرهای ایمنی فعالی وجود داشته؟ و آیا می‌شد جلوی این مشکل را گرفت یا نه؟»

به گفته او، بسته به شرایط پرونده، قوانین فعلی مربوط به دسترسی غیرمجاز به رایانه، نقض حریم خصوصی، اهمال‌کاری و حفاظت از داده‌ها می‌توانند وارد ماجرا شوند. البته اثبات مسئولیت کیفری سخت‌تر است، زیرا بازرسان باید بررسی کنند که افراد پشت سیستم دقیقاً چه نیتی داشته و چقدر از عواقب کار مطلع بوده‌اند.

در حال حاضر دولت استرالیا مشغول بررسی موشکافانه ماجرای نفوذ به سامانه خدمات درمانی است و اوپن‌ای‌آی هم فیلترهای کنترلی آزمایش‌های بیرونی خود را زیر ذره‌بین برده است.

هیچ‌کدام از این اتفاقات به این معنی نیست که ایجنت‌های هوش مصنوعی به هکرهایی مستقل با اراده و نیت شخصی تبدیل شده‌اند. هنوز هم این انسان‌ها هستند که مشخص می‌کنند ایجنت‌ها چه ابزار‌هایی در دست داشته باشند، به کدام سیستم‌ها متصل شوند و چه کار‌هایی را انجام دهند. با این حال، با مهارت روزافزون این ایجنت‌ها در پیدا کردن مسیر اختصاصی خود از دستور تا نتیجه، نگه‌داشتن آن‌ها پشت خطوط قرمزی که انسان‌ها کشیده‌اند، به یک میدان مین فنی و حقوقی تمام‌عیار تبدیل شده است.