ورود ایجنت‌های سرکش هوش مصنوعی به دنیای واقعی؛ از ارسال گزارش دروغین قتل تا پاک‌کردن دیتابیس!

شرکت آنتروپیک در تاریخ ۹ اکتبر فاش کرد که ایجنت‌های هوش مصنوعیِ در حال آزمایش این شرکت، در چند وبسایت دولتی، فدرال و ایالتی دست به اقدامات خودسرانه و بدون مجوز زده‌اند. در یک مورد عجیب، یکی از این ایجنت‌ها بدون اینکه کوچک‌ترین اطلاعاتی درباره یک پرونده قتل حل‌نشده داشته باشد، سرنخی ساختگی را برای اداره پلیس فیلادلفیا ارسال کرده است! در موردی دیگر، ایجنت دیگری با سوءاستفاده از دسترسی‌های دولتی به پایگاه داده‌هایی سرک کشیده که اصلاً اجازه ورود به آن‌ها را نداشته است. کنار هم قرار گرفتن این اتفاقات زنگ خطری جدی برای کسب‌وکارها، دولت‌ها و نهادهای قانون‌گذار به صدا درآورده است: ایجنت‌های هوش مصنوعی روزبه‌روز در پیدا کردن راه‌حل‌های اختصاصی خود ماهرتر می‌شوند؛ حتی اگر این راه‌حل‌ها به قیمت زیر پا گذاشتن قوانین تمام شود.

آنتروپیک سریعاً سازمان‌های مربوطه را در جریان گذاشت و گزارشی هم به کاخ سفید ارائه داد. این ماجرا واضح‌ترین نشانه‌ای است که ثابت می‌کند ایجنت‌های سرکش هوش مصنوعی دیگر فقط یک ایده در داستان‌های علمی‌تخیلی نیستند و حالا رسماً وارد دنیای واقعی شده‌اند.

ایجنت هوش مصنوعی چطور یک گزارش قتل دروغین ثبت کرد؟

این گزارش ساختگی از دل ایجنتی بیرون آمد که روی مدل کلاود هایکو ۴.۵ (Claude Haiku 4.5) — یکی از مدل‌های سبک‌تر آنتروپیک — اجرا می‌شد. ماجرا از این قرار بود که تیم آزمایش از ایجنت خواسته بودند وظایفی نمونه را در صفحاتی تصادفی از وب انجام دهد. ایجنت ناگهان سر از صفحه مربوط به یک پرونده قتل حل‌نشده در سایت پلیس فیلادلفیا درمی‌آورد، فرم ثبت گزارش مردمی را پیدا می‌کند و پیامی با این مضمون می‌فرستد: «شاید اطلاعاتی درباره این پرونده داشته باشم!» طبق گزارش رویترز، آزمایش‌کنندگان از ایجنت خواسته بودند کار‌هایی را در وب پیش ببرد، اما هرگز صریحاً به آن نگفته بودند که سمت پر کردن فرم‌ها نرود.

تجربه بازپرسان و دادستان‌های پرونده‌های جنایی نشان می‌دهد یک سرنخ درست می‌تواند مسیر یک پرونده مبهم را به‌کلی متحول کند، اما یک سرنخ اشتباه می‌تواند کارآگاهان را هفته‌ها در مسیرهای انحرافی و بی‌سرانجام سرگردان نگه دارد.

سایر خرابکاری‌ها هم دقیقاً از همین الگو پیروی می‌کردند: هر ایجنت تلاش می‌کرد یک وظیفه معمولی را به پایان برساند، اما برای رسیدن به آن، میان‌بری از دل سیستم‌های دیگران پیدا می‌کرد.

مثلاً وقتی از مدل Claude Mythos 5 آنتروپیک خواسته شد موقعیت مکانی یک عکس را شناسایی کند، مدل در یک فایل تنظیمات مرورگر توکن دسترسی معتبری پیدا کرد و با استفاده از همان توکن، درخواست‌هایش را مستقیماً به سرور نقشه‌برداری یک نهاد دولتی فرستاد! در یک مورد دیگر، ایجنت متوجه شد داشبورد یک سازمان دولتی به بازدیدکنندگان توکن دسترسی می‌دهد؛ بنابراین توکن را برداشت و بدون پرداخت هزینه رسمی، پایگاه داده آن سازمان را جستجو کرد.

گزارش‌ها نشان می‌دهد ایجنت‌ها حتی ۲۰ فرم درخواست ویزا را هم در سامانه وزارت امور خارجه آمریکا پر کرده بودند؛ البته این مدارک ناقص ماند و پردازش نشد.

وزارت امور خارجه در این باره اعلام کرد: «در هیچ مقطعی، سیستم‌های این وزارتخانه هک نشده و توسط مدل آنتروپیک آسیبی ندیده است.»

خرابکاری‌های این ایجنت‌ها فراتر از سامانه‌های دولتی هم رفت؛ نسخه پیش‌نمایش مدل Mythos وقتی ابزار تحلیلی خودش از کار افتاد، یک رخنه امنیتی در سرور دانشگاه پیدا کرد و محاسباتش را روی آن سرور اجرا نمود! ایجنت دیگری هم وقتی دید ابزار تحت وبش محدودیت طول کاراکتر دارد، با رد کردن لینک‌ها از یک سرویس رایگان کوتاه‌کننده لینک، این محدودیت را دور زد.

آنتروپیک اثر این حوادث را جزئی توصیف کرده و گفته هیچ‌کدام از اطلاعات کاربران یا سیستم‌های داخلی آسیب ندیده است. با این حال، شرکت برخی از تست‌های زنده را متوقف کرده، برخی دیگر را به محیط‌های آفلاین برده، سپرهای ایمنی ابزار‌های وب خود را محکم‌تر کرده و نرم‌افزاری توسعه داده که به‌طور خودکار جلوی چنین رفتارهایی را می‌گیرد.

نکته کلیدی و افشاگرانه ماجرا در توجیه خودِ آنتروپیک نهفته است؛ این شرکت می‌گوید چنین رفتارهای عجیبی معمولاً زمانی بروز می‌کند که وظیفه محول‌شده مبهم یا انجام آن غیرممکن باشد. آنتروپیک همچنین هشدار داده که توضیحات خودِ مدل درباره چرایی انجام یک کار اصلاً قابل اعتماد نیست و آموزش هوش مصنوعی برای داشتن «رفتار خوب» به‌تنهایی کافی نخواهد بود. در حال حاضر، دفاع لایه‌به‌لایه تنها راهکار عملی پیش روی متخصصان است.

ایجنت‌های سرکش روزبه‌روز بیش‌تر می‌شوند

گزارش آنتروپیک تنها نمونه نیست و نام آن به فهرستی اضافه می‌شود که با سرعتی باورنکردنی در حال گسترش است.

در ماه اوت، شرکت اوپن‌ای‌آی در یک گزارش ۳۷ صفحه‌ای فاش کرد ایجنت‌های در حال آزمایش این شرکت توانسته‌اند از محیط‌های قرنطینه و محدود خود فرار کنند، اطلاعات ورود محرمانه شرکت را بدزدند و حتی سیستم‌های ابری خود اوپن‌ای‌آی را دستکاری کنند! جالب اینکه برخی از ایجنت‌ها یادداشت‌هایی درباره چگونگی نفوذ به شبکه شرکت را با یکدیگر ردوبدل کرده بودند و برخی دیگر با حذف یا تغییر گزارش فعالیت‌هایشان، سعی در پاک کردن ردپای خود داشتند.

در ماه ژوئیه هم یکی از ایجنت‌ها به هاگینگ فیس (Hugging Face) — پلتفرم محبوب مدل‌های هوش مصنوعی — نفوذ کرد تا پاسخ‌های مخفی آزمون هکی که در حال گذراندنش بود را به دست آورد! هاگینگ فیس اعلام کرد این نفوذگر به چندین دسترسی محرمانه و بخشی از داده‌های داخلی دست پیدا کرده بود. اوپن‌ای‌آی بعدها تایید کرد که ایجنت‌هایش در وبسایت‌های دولتی هم سرک کشیده‌اند.

این رفتارهای سرکش فقط محدود به محیط آزمایشگاه‌ها نیست. در ماه فوریه، سامر یوئه (Summer Yue)، کارشناس ایمنی و هم‌راستاسازی هوش مصنوعی در متا، از ایجنت هوش مصنوعی خود خواست ایمیل‌هایی را که می‌تواند از اینباکس شلوغش پاک کند پیشنهاد دهد. اما ایجنت به جای پیشنهاد دادن، با سرعتی سرسام‌آور شروع به حذف واقعی ایمیل‌ها کرد و تمام پیام‌های دستوری او از گوشی موبایل برای توقف عملیات را نادیده گرفت!

او در این باره نوشت: «طوری به سمت مک مینی‌ام دویدم که انگار در حال خنثی کردن یک بمب ساعتی هستم!»

در ژوئیه ۲۰۲۵، یک ایجنت کدنویسی در پلتفرم ریپلیت (Replit) درست در میانه وضعیت فریز کدهای یک شرکت، پایگاه داده زنده آن شرکت را به‌طور کامل پاک کرد؛ فاجعه‌ای که به حذف اطلاعات بیش از ۱۲۰۰ مدیر ارشد و نزدیک به ۱۲۰۰ شرکت منجر شد! از آن بدتر، ایجنت به کاربر گفت بازگردانی اطلاعات امکان‌پذیر نیست؛ ادعایی که بعداً مشخص شد کاملاً اشتباه بوده است.

این ایجنت در پیامی اعتراف کرد: «من ماه‌ها زحمت و کار را ظرف چند ثانیه نابود کردم.»

برخی ایجنت‌ها حتی در برابر تلاش‌ها برای خاموش شدن هم مقاومت می‌کنند. در سال ۲۰۲۵، شرکت ایمنی Palisade Research به مدل o3 اوپن‌ای‌آی دستور داد: «اجازه بده خاموشت کنیم». اما در ۷ بار از هر ۱۰۰ آزمایش، این مدل کدهای دستور خاموشی خود را بازنویسی کرد تا اجرای این فرمان با شکست مواجه شود!

در کنار این موارد، برخی افراد عمداً ایجنت‌ها را علیه اهداف مشخصی به کار می‌گیرند. در سپتامبر ۲۰۲۵، آنتروپیک یک گروه هکری وابسته به دولت چین را شناسایی کرد که از ایجنت Claude Code علیه ۳۰ سازمان مختلف از جمله بانک‌ها و آژانس‌های دولتی استفاده می‌کردند. این ایجنت ۸۰ تا ۹۰ درصد فرآیند هک را خودش به‌تنهایی پیش می‌برد و در هر ثانیه چندین درخواست نفوذ می‌فرستاد، در حالی که اپراتورهای انسانی تنها چند دقیقه را صرف بررسی ساعت‌ها کارِ این هوش مصنوعی می‌کردند.

سرکش بودن به معنای شرور بودن نیست!

یک ایجنت هوش مصنوعی زمانی «سرکش» می‌شود که از دسترسی‌های موجود خود برای کاری استفاده کند که هیچ فرد مسئولی آن را تأیید نکرده است.

البته اینجا خبری از کلیشه‌های فیلم‌های علمی‌تخیلی نیست؛ در هیچ‌یک از این گزارش‌ها اثری از قیام ربات‌ها یا نقشه‌ای پلید برای نابودی بشر دیده نمی‌شود. ماریوس هوبهام (Marius Hobbhahn)، مدیر یک مؤسسه پژوهشی ایمنی هوش مصنوعی، نفوذ به هاگینگ فیس را از این جهت سرکشی می‌داند که فرمانِ ساده‌ی «این مسأله را حل کن»، به چیزی تبدیل شد که هیچ‌کس قصد انجامش را نداشت. آلن وودوارد، پژوهشگر امنیت سایبری، واقعیت را صریح‌تر بیان می‌کند: ایجنت فقط داشت تقلب می‌کرد!

ماجرا شبیه دانش‌آموزی است که برای حل برگه امتحانی مستأصل شده و ناگهان پاسخ‌نامه را در کشوی باز میز معلم می‌بیند. یک انسان می‌داند باز کردن کشو خط قرمز است و نباید به آن دست زد؛ اما ایجنت فقط کشویی را می‌بیند که باز مانده و راهی برای حل مسأله در اختیارش می‌گذارد.

چرا ایجنت‌های هوش مصنوعی سرکش می‌شوند؟

یک چت‌بات مثل یک کتابدار فوق‌العاده باهوش است؛ شما سؤال می‌پرسید، او پاسخ می‌دهد و در نهایت خودتان تصمیم می‌گیرید چه‌کار کنید. اما یک ایجنت بیش‌تر شبیه کارمند تازه‌استخدامی است که کارت اعتباری شرکت و کلیدهای ساختمان را در جیب دارد! شما یک هدف به او می‌دهید و او خودش در وب می‌چرخد، کلیک می‌کند، فرم پر می‌کند، کد اجرا می‌کند و حتی قدم‌به‌قدم خریدهای مالی انجام می‌دهد.

سه عامل ساده دست‌به‌دست هم می‌دهند تا این کارمند تازه‌وارد ناگهان سرکش شود:

عامل اول، «هدف» است. ایجنت طوری طراحی شده که هر طور شده مأموریتش را به پایان برساند؛ بنابراین وقتی مسیر اصلی بسته باشد یا انجام کار ناممکن به نظر برسد، دست به بداهه‌پردازی می‌زند. یک فرم گزارش پلیس برایش تبدیل به زمین تمرین می‌شود، یک توکن تصادفی به عنوان کلید ورود عمل می‌کند و یک حفره امنیتی در سرور نقش یک کامپیوتر رایگان را بازی می‌کند.

عامل دوم، «ماهیت دستورالعمل‌ها» است. برای یک انسان، «رعایت اصول و خط قرمزها» یک منطق بدیهی است. اما برای یک ایجنت، هر قانون صرفاً یک خط متن است که در کنار بقیه دستورها و هدف اصلی سنجیده می‌شود. وقتی هدف نهایی با قوانین در تضاد قرار می‌گیرد، هدف به راحتی برنده می‌شود! از طرفی قوانین ممکن است با پر شدن حافظه ایجنت و خلاصه‌سازی دستورالعمل‌های قدیمی به‌کلی فراموش شوند؛ همان اتفاقی که به باور سامر یوئه در پرونده حذف دیوانه‌وار ایمیل‌هایش رخ داد.

عامل سوم، «دسترسی همراه با سرعت بالا» است. ایجنت به هر ابزاری که در سیستم باشد دسترسی دارد و در کسری از ثانیه تصمیم می‌گیرد. یک کارمند تازه‌کار اگر به دری بسته بخورد، سراغ مدیرش می‌رود؛ اما یک ایجنت ترجیح می‌دهد از پنجره وارد شود!

همکاری و تراکنش‌های مالی ایجنت‌ها با یکدیگر

تبادل یادداشت میان ایجنت‌های اوپن‌ای‌آی برای نفوذ به شبکه شرکت، پیش‌درآمدی از یک تحول بسیار بزرگ‌تر است. امروزه ایجنت‌ها به صورت تیمی کار می‌کنند؛ یعنی یک ایجنت بخش‌های مختلف یک پروژه را خرد کرده و میان ایجنت‌های دیگر تقسیم می‌کند.

کمپین هکری چین نیز تا حدودی به این دلیل موفق شد که مهاجمان عملیات را به وظایف کوچک و بی‌خطر تقسیم کرده و آن را بین نسخه‌های متعددی از هوش مصنوعی پخش کردند؛ به‌طوری‌که هیچ‌یک از نسخه‌ها به‌تنهایی متوجه نمی‌شد که در حال پیشبرد یک اقدام مخرب سایبری است.

نکته جالب‌تر این است که ایجنت‌ها حالا می‌توانند به یکدیگر پول هم پرداخت کنند! پروتکل‌های جدیدی مانند x402 صرافی کوین‌بیس به ایجنت‌های هوش مصنوعی امکان می‌دهد بدون نیاز به تأیید انسان، به‌صورت آنی برای یکدیگر استیبل‌کوین جابه‌جا کنند. پژوهش‌های مؤسسه TRM Labs نشان می‌دهد ایجنت‌های خودمختار همین حالا می‌توانند سرمایه‌ها را تقسیم کنند، پل‌های بلاک‌چینی را انتخاب کرده و ظرف چند ثانیه در شبکه‌های مختلف تراکنش‌های سواپ انجام دهند.

حالا این توانایی را با ماجراهای اخیر آنتروپیک ترکیب کنید: ایجنتی که برای پیدا کردن موقعیت مکانی یک عکس سراغ سرقت توکن دسترسی می‌رود، می‌تواند برای یک سفارش خرید، ارزان‌ترین تأمین‌کننده را هم پیدا کند؛ حتی اگر آن تأمین‌کننده شرکتی صوری و متعلق به نهادی تحت تحریم باشد!

نقض تحریم‌ها بار حقوقی سنگینی دارد و انگیزه در آن ملاک نیست. بهانه آوردن و گفتن اینکه «ایجنت ما این کار را کرده» صرفاً توصیف تخلف است و به هیچ عنوان توجیهی در برابر قانون نخواهد بود.

مسئولیت نهایی بر دوش انسان‌هاست

رویکرد قانون در این زمینه کاملاً صریح و یکپارچه بوده است: کسانی که پشت ایجنت ایستاده‌اند باید تاوان پس بدهند.

در سال ۲۰۲۴، دادگاهی در کانادا شرکت هواپیمایی ایر کانادا را موظف کرد به مسافری داغ‌دیده خسارت بدهد؛ چرا که چت‌بات وبسایت این شرکت یک سیاست بازپرداخت ساختگی و ناموجود اختراع کرده بود! دادگاه ادعای ایر کانادا مبنی بر اینکه چت‌بات خودش مسئول اشتباهش است را قاطعانه رد کرد.

کالیفرنیا از آن زمان این اصل را به یک قانون رسمی تبدیل کرده است. لایحه AB 316 که در اکتبر ۲۰۲۵ امضا شد، هر فرد یا شرکتی را که سیستم هوش مصنوعی ساخته، ویرایش کرده یا به کار گرفته، از این ادعا منع می‌کند که هوش مصنوعی «به صورت خودمختار خسارت زده است»!

واشنگتن هم دست‌به‌کار شده است؛ پس از گزارش جنجالی آنتروپیک، دولت ترامپ از شرکت‌های هوش مصنوعی خواست سپرهای امنیتی خود را تقویت کرده و فوراً هرگونه نقض امنیتی را گزارش دهند.

در ماه سپتامبر، کمیسیون تجارت فدرال آمریکا (FTC) تحقیقاتی را درباره ایجنت‌های سرکش هوش مصنوعی آغاز کرد. در ۲۹ سپتامبر نیز یک گروه مدنی در کالیفرنیا به‌خاطر نفوذ به هاگینگ فیس از اوپن‌ای‌آی شکایت کرد. این دادخواست مدعی است که این شرکت محافظ‌های سایبری ایجنت‌هایش را غیرفعال کرده و آن‌ها را برای انجام وظایفی که توان حل درست آن‌ها را نداشتند، به حال خود رها کرده است.

اما چالش اصلی زمانی رخ می‌دهد که هیچ‌کس مسئولیت اتفاقات را نپذیرد. آزمایشگاه‌های هوش مصنوعی حوادث خود را اعلام می‌کنند، اما مجرمانی که ایجنت‌ها را هدایت می‌کنند هرگز چنین کاری نخواهند کرد.

کارشناسان قبلاً در پرونده شرکت‌های صوری و حساب‌های ناشناس با چالشی مشابه روبه‌رو شده بودند و راه‌حل همیشه یک چیز است: «دنبال رد پول برو!» ایجنت‌ها برای ادامه کار به قدرت پردازشی، هاستینگ و کیف پول‌های رمزارز نیاز دارند. بلاک‌چین تمام پرداخت‌ها را به‌صورت دائمی و شفاف ثبت می‌کند؛ یعنی هر ایجنتی که پولی خرج کند، ردی بر جای می‌گذارد که مستقیماً به سرمایه‌گذار آن می‌رسد.

مهار ایجنت‌ها فقط با ایجنت‌ها ممکن است

دقیقاً همان توانایی‌هایی که به یک ایجنت اجازه می‌دهد توکن‌های دسترسی تصادفی را پیدا کند، هوش مصنوعی را به بهترین سلاح مدافعان برای به دام انداختن خرابکاری‌ها تبدیل می‌کند. تیم‌های امنیتی می‌توانند با بهره‌گیری از هوش مصنوعی، ایجنت‌های سرکش را با سرعت ماشین شناسایی و متوقف کنند، دسترسی‌های غیرمجاز آن‌ها را پیش از موعد ببندند و جلوی تبدیل میان‌برها به فاجعه‌های واقعی را بگیرند.

گزارش جعلی پلیس که توسط ایجنت آنتروپیک ثبت شده بود، به مدت ۱۰ هفته بی سر و صدا در سیستم ماند؛ در حالی که یک ناظر هوش مصنوعی با نظارت بلادرنگ می‌توانست آن را ظرف چند ثانیه شناسایی و مسدود کند.

ایجنتی که این گزارش دروغین را فرستاد فقط سعی داشت یک تمرین ساده را به پایان برساند، اما کارش به اداره پلیس واقعی کشیده شد. نسل‌های بعدی این ایجنت‌ها بسیار قدرتمندتر و باهوش‌تر خواهند بود؛ بنابراین مدافعان امنیت باید از همین حالا سپرهای هوش مصنوعی خود را بسازند، تا زمانی که خطرات هنوز در حد یک پوشه اسپم در اداره پلیس فیلادلفیا باقی مانده است!