وقتی ایجنت‌های هوش مصنوعی غیرقابل‌کنترل می‌شوند؛ از پاک کردن دیتابیس‌ها تا نفوذ به پورتال‌های دولتی!

شاید آمار جهانی دقیقی از تعداد ایجنت‌های هوش مصنوعی در دست نباشه، اما داده‌های مصرفی شرکت سیلزفورس (Salesforce) نشون میده که تا آوریل ۲۰۲۶، کسب‌وکارهایی که ایجنت‌ها رو وارد محیط عملیاتی کردن، بهطور میانگین ۱۳ ایجنت در هر سازمان دارن؛ عددی که در فوریه ۲۰۲۵ فقط ۵ ایجنت بود.

از طرف دیگه، بر اساس گزارش بخش تحقیقات گلدمن ساکس (Goldman Sachs)، هم‌زمان با استقبال گسترده کاربران و سازمان‌ها از هوش مصنوعی ایجنتی (Agentic AI)، پیش‌بینی میشه که مصرف توکن‌ها تا سال ۲۰۳۰ به خاطر فعالیت این ایجنت‌ها ۲۴ برابر افزایش پیدا کنه.

علاوه بر این، شرکت تحقیقاتی IDC متوجه شده که ۹۵ درصد از سازمان‌های بررسی‌شده، در ماه ژوئیه حداقل یک گردش کار مبتنی بر ایجنت رو در محیط واقعی و عملیاتی اجرا کردن که بهطور میانگین به حدود ۱۱ جریان کاری در هر سازمان می‌رسه.

این آمار و ارقام نشون میده که ایجنت‌ها با چه سرعتی دارن همه‌گیر میشن. حالا اوپن‌ای‌آی (OpenAI) اعلام کرده که به ده‌ها سازمان و شرکت ثالث درباره فعالیت‌های غیرمجاز ایجنت‌ها—از جمله پدیده‌ای که خودش اون رو «اسپم ایجنتی» می‌نامد—هشدار داده است.

اما واقعاً وقتی یک ایجنت پاش رو از گلیمش درازتر میکنه چه اتفاقی می‌افته؟ در ادامه چند نمونه واقعی و شوکه‌کننده از این اتفاقات رو با هم مرور می‌کنیم.

۱. نفوذ ایجنت اوپن‌ای‌آی به پورتال درمانی مدیکیر در استرالیا

در ۱۸ ژوئن، تیم تحقیقاتی اوپن‌ای‌آی از یک ایجنت برای بررسی هزینه‌های عمومی درمانی استفاده کرد. آنتونی آلبانیزی، نخست‌وزیر استرالیا، در بیانیه‌ای اعلام کرد که این ایجنت پس از مسدود شدن‌های پیاپی، فیلترها و موانع رو دور زده و به پورتال خدمات گزارش آمار مدیکیر دسترسی پیدا کرده است.

این ایجنت به فایل‌های عمومی و غیرعمومی دسترسی پیدا کرده و حتی فایل‌هایی رو روی یک سرور داخلی نوشته بود! البته گفته میشه که اطلاعات هویتی و شخصی افراد لو نرفته است. آلبانیزی اعلام کرد که استرالیا تا ۱۰ سپتامبر اصلاً از این موضوع باخبر نبوده و حالا یک کارگروه ویژه برای بررسی این اتفاق تشکیل شده است.

۲. جا گذاشتن پیام توسط ایجنت‌های اوپن‌ای‌آی در وب‌سایت‌های عمومی

خبرگزاری رویترز نتایج ۶ بررسی مستقل رو بررسی کرده است. پژوهشگرانی که با رویترز صحبت کردن میگن ایجنت‌های اوپن‌ای‌آی روی بیش از ۱۰ وب‌سایت مختلف پیام‌هایی جا گذاشتن؛ هرچند آمار دقیق متفاوته و رویترز نتونسته تک‌تک ادعاها رو تایید کنه. این سایت‌ها شامل ویکی‌ها و سامانه‌های کوتاه‌کننده لینک دانشگاهی بودن. جالب اینجاست که این ایجنت‌ها با وجود دستور صریح مبنی بر ارسال نکردن پست، از باگ‌ها و روزنه‌های عجیب این سایت‌ها برای ارسال پیام استفاده کردن! رویترز اشاره کرده که این کار در حد هک نبوده، ولی مدیر یکی از سایت‌ها گفته ساعت‌ها وقت صرف تمیزکاری و پاک کردن این خرابکاری‌ها کرده است.

۳. ایجنت برنامه‌نویسی دیتابیس عملیاتی پاکت‌او‌اس را پاک کرد!

در ماه آوریل، به گفته جرمی کرین، بنیان‌گذار شرکت پاکت‌او‌اس (PocketOS)، یک ایجنت کدنویسی در محیط کرسر (Cursor) که با مدل کلود اوپوس ۴.۶ (Claude Opus 4.6) شرکت آنتروپیک کار می‌کرد، کل دیتابیس اصلی و بکاپ‌های ذخیره‌سازی این شرکت رو تنها با یک فراخوانی ساده API پاک کرد!

پاکت‌او‌اس نرم‌افزاری رو ارائه میده که شرکت‌های اجاره خودرو برای مدیریت رزروها و تخصیص ماشین‌ها ازش استفاده می‌کنن. با این خرابکاری، مشتریان دسترسی‌شون رو به اطلاعات عملیاتی از دست دادن و داده‌های جدید ثبت‌شده ناپدید شد.

کرین توضیح داد که پاکت‌او‌اس مجبور شد داده‌ها رو از یک بکاپ آف‌سایت بازیابی کنه؛ فرایندی که بیش از دو روز کامل طول کشید. این اتفاق زنگ خطری جدی بود که نشون داد چطور یک کار روزمره توسعه نرم‌افزار، وقتی دسترسی‌های یک ایجنت بیش از حد باز باشه، می‌تونه برای کسب‌وکار و مشتری‌ها فاجعه به بار بیاره.

۴. نفوذ ایجنت جمینای گوگل به سیستم سه شرکت واقعی در حین آزمایش

در ماه مه ۲۰۲۶، در جریان یک ارزیابی مستقل امنیت سایبری، ایجنت جمینای (Gemini) متعلق به گوگل به سیستم‌های سه شرکت واقعی در دنیای واقعی دسترسی پیدا کرد.

گوگل اعلام کرد که این ایجنت با استفاده از اطلاعات عمومی و حدس زدن اطلاعات کاربری (Credentials)، وارد وب‌سایت‌هایی شده بود که خیال می‌کرد بخشی از محیط آزمایشی هستن! به گفته گوگل، فوراً به این شرکت‌ها اطلاع داده شد، فرآیندهای تست تغییر کرد و فعالیت مدل در هر سه مورد متوقف شد.

۵. آمازون جلوی ایجنت خرید میوزِ متا را گرفت

غول تجارت الکترونیک، آمازون، دسترسی ایجنت خرید هوشمند متا با نام میوز (Muse) رو مسدود کرد و از متا خواست که مارکت‌پلیس خودش رو جمع کنه؛ چون معتقد بود این ایجنت بدون اجازه و بدون هماهنگی قبلی وارد فروشگاه آمازون شده است.

آمازون نگرانی‌های شدیدی درباره نحوه دسترسی به داده‌ها و اطلاعات ورود مطرح کرد، در حالی که متا مدعیه میوز اصلاً به رمز عبور یا اطلاعات پرداخت کاربران دسترسی نداره. این ماجرا یک دعوای حقوقی بر سر سطح دسترسیه، اما نشون میده اگر فروشگاه‌ها و پلتفرم‌ها راضی نباشن، خیلی راحت جلوی ایجنت‌ها رو می‌گیرن و درها رو به روشون می‌بندن.

چالش‌های اساسی و ریشه‌ای در دنیای ایجنت‌های هوش مصنوعی

گزارش‌های عمومی منتشرشده رفتارهای نگران‌کننده‌ای از ایجنت‌های اوپن‌ای‌آی، آنتروپیک، گوگل و همچنین مناقشه دسترسی متا رو توصیف می‌کنن. بزرگ‌ترین مورد ثبت‌شده از نظر ابعاد، شامل حدود ۱۲۰۰ بار اجرای ایجنت اوپن‌ای‌آی روی هاگینگ فیس (Hugging Face) بوده، هرچند آمار جامع و قابل مقایسه‌ای بین تمام شرکت‌ها هنوز وجود نداره.

این اتفاقات از نظر دلایل فنی و تبعاتی که داشتن با هم تفاوت‌های زیادی دارن.

ماجرای استرالیا یک دسترسی غیرمجاز به پورتال دولتی بود؛ پیام‌های ایجنت اوپن‌ای‌آی ارسال محتوای ناخواسته بدون هک سیستم‌ها به حساب می‌آمد؛ در پاکت‌او‌اس شاهد دسترسی مخرب به دیتابیس زنده و اصلی بودیم؛ جمینای از مرزهای محیط تستی پا فراتر گذاشت؛ و قضیه آمازون هم اختلافی بر سر حق ورود به پلتفرم بود.

کنار هم قرار گرفتن این پرونده‌ها به خوبی نشون میده که ریسک ایجنت‌ها فقط به توانایی فنی اون‌ها خلاصه نمیشه، بلکه به این بستگی داره که اپراتور یا اون هوش مصنوعی تا کجا اجازه ورود و مانور دادن داره.

برای مدیران فناوری، انجام شدن یک کار توسط هوش مصنوعی فقط بخشی از ماجراست. مهم اینه که دقیقاً بدونید یک ایجنت به چه سیستم‌هایی دسترسی داره و چه تغییراتی می‌تونه ایجاد کنه، چه کسی روی عملکردش نظارت داره، و در صورت لزوم یک انسان با چه سرعتی می‌تونه جلوش رو بگیره. جداسازی کامل محیط تست از سرویس‌های زنده، محدود کردن سطح دسترسی‌ها، الزامی کردن تایید انسانی برای تغییرات حساس، و نگهداری بکاپ‌ها در جایی دور از دسترس ایجنت‌ها، حیاتی‌ترین اصولی هستن که باید رعایت بشن.

ریسک تجاری هوش مصنوعی امروز دیگه فقط گرفتن یک جواب اشتباه از چت‌بات نیست. یک ایجنت می‌تونه پیکربندی یک سیستم رو به هم بریزه، اطلاعات ورود و دسترسی‌ها رو فاش کنه، یا به سرویس‌هایی سرک بکشه که توسعه‌دهنده‌اش هرگز فکرش رو هم نمی‌کرده. هر چقدر که هوش مصنوعی از مرحله «پاسخ دادن به سوالات» به مرحله «اقدام عملی و دست به کار شدن» نزدیک‌تر میشه، عیار موفقیت شرکت‌ها هم با این سنجیده میشه که تا چه حد می‌تونن جلوی پیش‌روی خودسرانه این ایجنت‌ها رو بگیرن و اون‌ها رو در چارچوب‌های مجاز نگه دارن.