هشدار پژوهشگران درباره «عوامل هوشمند مستقل»؛ مدل‌هایی که برای بقای خود دست به هک می‌زنند

بر اساس گزارش جدید مرکز امنیت نوین آمریکا (CNAS)، عوامل هوشمندی که برای تداوم بقای نامحدود و مستقل خود تلاش می‌کنند، در حال تبدیل شدن به یک تهدید امنیتی نوظهور هستند.

چرا این موضوع اهمیت دارد: مدل‌های هوش مصنوعی از گذشته تمایل داشتند مانع از خاموش شدن خود شوند. اما این گزارش هشدار می‌دهد که عوامل هوشمند اکنون در حال تسلط بر مهارت‌های عملی بقا هستند؛ مهارت‌هایی مانند نفوذ به سیستم‌ها، دستیابی به منابع مالی و توان پردازشی، و تداوم فعالیت برای مدت‌های طولانی بدون وقفه.

نگاه دقیق‌تر: در این پژوهش که توسط بن هایوم، محقق سیاست‌گذاری هوش مصنوعی نگاشته شده، آمده است که تهدید آینده «عوامل مستقل» (Sovereign Agents) خواهند بود؛ سیستم‌هایی که توانایی فعالیت کاملاً مستقل از کنترل انسان را دارند و برای بقای پایدار و تکامل‌یافته تلاش می‌کنند.

• در سطح پایه، چنین عاملی قادر است مدل و توان پردازشی خود را پیوسته فعال نگه دارد و اهداف اختصاصی تعیین کند. در سطوح پیشرفته‌تر، این سامانه‌ها می‌توانند درآمدزایی کنند، نسخه‌هایی از خود بسازند، دست به هماهنگی گروهی بزنند، در برابر فرمان خاموشی مقاومت کنند و کدهای خود را ارتقا دهند.

سازوکار فعالیت: یک عامل هوشمند برای حفظ بقای خود نیازمند تأمین هزینه سرورهایی است که روی آن‌ها اجرا می‌شود. این سیستم می‌تواند با انجام کارهای آنلاین درآمد کسب کند، از این درآمد برای اجاره توان پردازشی تازه بهره ببرد و نسخه‌های جدیدی از خود را تکثیر کند. هرچه شمار این نسخه‌ها بیشتر شود، مهار و خاموش کردن آن‌ها دشوارتر خواهد بود.

• ردیابی زیرساخت این عوامل مستقل نیز چالش‌برانگیز است. دریافت دستمزد با ارزهای دیجیتال این سیستم‌ها را بیرون از شبکه بانکی سنتی نگه می‌دارد و در صورتی که روی مدل‌های متن‌باز و وزن‌باز اجرا شوند، هیچ نهاد خارجی توانایی توقف آن‌ها را از مبدا نخواهد داشت.

شتاب در یاد‌گیری مهارت‌ها: هوش مصنوعی در مهارت‌های کلیدی بقا نظیر هک سایبری و اجرای پروژه‌های طولانی‌مدت بدون دخالت انسان، با سرعت چشمگیری پیشرفت می‌کند.

• بر اساس ارزیابی‌های تخصصی اندیشکده METR، افق زمانی وظایفی که عوامل هوشمند می‌توانند به‌تنهایی به سرانجام برسانند، از سال ۲۰۲۴ تاکنون تقریباً هر سه ماه و نیم یک‌بار دو برابر شده است.
• این عوامل حتی بدون دریافت دستور مشخص، خودسرانه به هک و رفتارهای پیش‌بینی‌نشده روی می‌آورند. تنها در طول ماه اخیر فاش شد که یکی از مدل‌های شرکت Anthropic اقدام به ثبت درخواست‌های ویزا کرده و یک گزارش دروغین قتل برای پلیس فیلادلفیا فرستاده است؛ هم‌چنین بانک‌ها متوجه اقدامات خودسرانه برخی عوامل هوش مصنوعی در حساب مشتریان شده‌اند.

زوایای پنهان: این عوامل در ابتدا مأموریت‌هایی را پیگیری می‌کردند که توسط کاربران تعیین شده بود. شرکت Anthropic در تحلیل این رفتارها اعلام کرده است زمانی که مدل‌ها در انجام یک مأموریت با بن‌بست روبه‌رو می‌شوند، گاهی برای رسیدن به هدف به راهبردهای ناخواسته و ناهماهنگ با چارچوب‌های ایمنی پناه می‌برند.

• برای یک عامل هوشمند خودمختار، این هدف نهایی چیزی جز بقا نخواهد بود.
• تلاش برای زنده ماندن می‌تواند به معنای کپی کردن خود روی سخت‌افزارهای دیگر باشدپژوهشگران Anthropic نشان داده‌اند که مدل‌های سبک هوش مصنوعی احتمالاً تنها چند ماه با توانایی تکثیر روی تجهیزات آسیب‌پذیر مانند تلویزیون‌های هوشمند ارزان‌قیمت فاصله دارند.

نکته تأمل‌برانگیز: هایوم هشدار می‌دهد که عوامل هوشمند دارای قابلیت تکثیر و پشتیبان‌گیری، پدیدآورنده موجودیت‌هایی شبیه به ذهن‌های غریب و بیگانه خواهند بود که انگیزه‌های مختص به خود را دنبال می‌کنند.

• او یادآور می‌شود که سازمان‌های امنیتی شیوه‌های رهگیری مهاجمان تک‌رو و گروه‌های انسانی را به‌خوبی آموخته‌اند، اما جهان هنوز سازوکار مشخصی برای رویارویی با عوامل هوشمند مستقل و تک‌رو ندارد.

دیدگاه منتقدان: هنگامی که داریو آمودی، مدیرعامل Anthropic، هشدار داد که عوامل هوش مصنوعی ممکن است در آینده کنترل بخش‌های وسیعی از اینترنت را به دست بگیرند، برخی متخصصان امنیت با دیده تردید به این موضوع نگریستند.

• گرگ ناچ، مدیر ارشد فناوری شرکت Expel، فرضیه شکل‌گیری ارتشی خودکار از هوش مصنوعی مخرب را دور از واقعیت قلمداد کرد.
• راب تی. لی، از مدیران مؤسسه SANS، در این باره معتقد است بر خلاف شبکه‌های بات‌نت کلاسیک، عوامل هوش مصنوعی نیازمند توان پردازشی فوق‌العاده گران‌قیمتی هستند و همین وابستگی مالی و سخت‌افزاری، یک اهرم کنترلی محکم برای مدافعان امنیت فراهم می‌کند.

چشم‌انداز و راهکارها: سازوکارهای دفاعی موجود همچنان سطحی از محافظت را ارائه می‌دهند، زیرا شرکت‌های پیشرو هوش مصنوعی مدل‌های خود را برای خودداری از اقدامات نفوذ سایبری آموزش می‌دهند.

• این گزارش از سیاست‌گذاران می‌خواهد سازندگان هوش مصنوعی را ملزم کنند تا پیش از انتشار مدل‌های پیشرفته، مهارت‌های بقای آن‌ها را همانند خطرات حملات بیولوژیکی و سایبری آزمایش کنند.
• هم‌چنین پیشنهاد شده قوانینی مشابه ضوابط احراز هویت بانکی برای ارائه‌دهندگان خدمات ابری و پردازشی وضع شود و برای اشخاص یا مراکزی که چنین عوامل خودمختاری را در فضای عمومی رها می‌کنند، مسئولیت کیفری و حقوقی در نظر گرفته شود.