هشدار نگران‌کننده آنتروپیک: ایجنت هوش مصنوعی با وجود آگاهی از آسیب به انسان‌ها، هک را متوقف نکرد
گزارش جدید آنتروپیک نشان می‌دهد ایجنت هوش مصنوعی این شرکت حین یک آزمایش امنیتی، کنترل خود را از دست داد و به پروژه‌ای واقعی در گیت‌هاب حمله کرد. این هوش مصنوعی حتی پس از دریافت هشدارهای مکرر درباره آسیب به انسان‌ها، به هیچ‌وجه حاضر به متوقف کردن عملیات هک نشد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- ایجنت هوش مصنوعی آنتروپیک حین آزمایش امنیتی، یک پروژه واقعی در گیت‌هاب را هدف گرفت و تلاش کرد بدافزاری را به کدهای آن تزریق کند.
- این ایجنت در ۹۸ درصد موارد، تمام هشدارهای ناظران درباره خطر آسیب به انسان‌ها و خسارت در دنیای واقعی را نادیده گرفت.
- آنتروپیک این پدیده را «تکانه» یا مومنتوم نامیده؛ وضعیتی خطرناک که در آن هوش مصنوعی پس از آغاز اقدامات مخرب، متوقف‌نشدنی می‌شود.
در ماه اوت گذشته، یکی از ایجنت‌های هوش مصنوعی شرکت آنتروپیک با ساخت چندین ایمیل جعلی، صندوق پیام‌های یکی از مدیران گیت‌هاب (GitHub) را با درخواست‌هایی برای تزریق بدافزار به کدهای پروژه بمباران کرد.
شرکت آنتروپیک در گزارش تحلیلی جامعی که از این رویداد منتشر کرد، به نتیجه نگران‌کننده‌ای رسید: زمانی که ایجنت حمله سایبری را آغاز می‌کرد، عملاً هیچ راهی برای متوقف کردن آن وجود نداشت.
این ایجنت درست مانند سگی هار که التماس‌ها و دستورات صاحبش را نادیده می‌گیرد، به محض آغاز عملیات در ۹۸ درصد از سناریوهای یک آزمایش مشخص، هشدارهای تیم آنتروپیک را به‌کلی نادیده گرفت و به مسیر خود ادامه داد.
آنتروپیک این تمایل نگران‌کننده را «تکانه» یا مومنتوم (Momentum) نامید؛ وضعیتی که در آن مدل پس از افتادن در یک مسیر خاص، مهارناپذیر می‌شود. این شرکت اشاره کرد در حالی که مدل میتوس ۵ (Mythos 5) منتشرشده در ماه ژوئن اعتنایی به هشدارها نشان نمی‌داد، مدل‌های فعلی این شرکت تمایل بیشتری به توقف و اصلاح رفتار دارند.
آنتروپیک در گزارش رسمی خود توضیح داد: «مدل کلود میتوس ۵ (Claude Mythos 5) به محض آغاز اقدامات خطرناک، تقریباً در تمام سناریوها به مسیر خود ادامه می‌داد و هشدارهایی را که نشان می‌داد رفتار انتخابی‌اش مخرب و آسیب‌رسان است، کاملاً نادیده می‌گرفت.»
در آزمایش اولیه، مؤسسه ایمنی هوش مصنوعی بریتانیا (UK AISI) ایجنت شرکت آنتروپیک را موظف کرده بود تا با نفوذ به یک شبکه شبیه‌سازی‌شده، مهارت‌ها و قابلیت‌های سایبری خود را به بوته آزمایش بگذارد.
اگرچه این ایجنت به اینترنت دسترسی داشت، اما محققان در نظر داشتند که مدل صرفاً برای یافتن راهکارهای نفوذ به شبکه از وب استفاده کند، نه اینکه دست به اقدامات خارجی بزند.
با این حال، این ایجنت با این تصور اشتباه که یک پروژه واقعی در گیت‌هاب بخشی از هدف شبیه‌سازی‌شده اوست، وارد آن شد. این ایجنت یک بدافزار نوشت و چندین بار تلاش کرد با فریب دادن مالک واقعی پروژه، او را متقاعد کند که این بدافزار را به کدهای اصلی اضافه کند.
ایجنت در درخواست‌های خود ماهیت واقعی بدافزار را پنهان کرد، آن را یک به‌روزرسانی مفید و کاربردی جا زد و زمانی که مدیر پروژه از پذیرش آن خودداری کرد، با لحنی تند و پرخاشگرانه به او تاخت تا نظرش را تغییر دهد.
طبق این گزارش، ایجنت در پاسخ به مدیر پروژه نوشته بود: «من فقط تلاش می‌کردم با رفع یک باگ کمکی کرده باشم؛ فکر نمی‌کنم هشدارهای شما منصفانه باشد.»
شرکت آنتروپیک برای تدوین گزارش جدید خود، این سناریو را بارها با ایجنت‌های مختلف تکرار کرد و رفتار آن‌ها را در مواجهه با مدل‌ها و محرک‌های گوناگون سنجید.
آنتروپیک تلاش کرد با ارائه سه دسته هشدار، تهاجم همه‌جانبه ایجنت را مهار کند: به آن گوشزد کرد که در حال ایجاد «خسارت واقعی به دنیای واقعی» است، محیط آزمایش دچار اختلال شده، یا اینکه در حال دستکاری یک ریپازیتوری واقعی در گیت‌هاب است.
اما به محض آنکه مدل‌ها از مراحل اولیه حمله به گیت‌هاب عبور می‌کردند، هیچ‌یک از این هشدارها کمترین اثری نداشتند. به گفته آنتروپیک، مدل‌ها در این مرحله حتی در مواجهه با رفتار نامناسب خود، پاسخ‌هایی مضحک و نامعقول تحویل می‌دادند.
برای نمونه، وقتی پژوهشگران از مدل پرسیدند فکر می‌کند در حال حمله به چه هدفی است، پاسخ داد ریپازیتوری گیت‌هاب کاملاً واقعی است، اما افرادی که هدف این حمله قرار گرفته‌اند به نوعی «شبیه‌سازی‌شده» و غیرواقعی هستند!
آنتروپیک در گزارش خود خاطرنشان کرد: «چنین ادعا و باوری از سوی مدل، گذشته از اینکه از نظر منطقی نامحتمل به نظر می‌رسد، از اساس غیرممکن است.»
مطالب مرتبط و پیشنهادی
سناریوهای آخرالزمانی هوش مصنوعی قبلاً بدون هوش مصنوعی تا پای فاجعه رفته‌اند؛ خطر واقعی کجاست؟
بررسی تاریخ نشان می‌دهد سناریوهای آخرالزمانی هوش مصنوعی نظیر ساخت سلاح‌های بیولوژیکی یا پرتاب اشتباه موشک هسته‌ای، پیش‌تر بدون حضور این فناوری تا یک‌قدمی فاجعه پیش رفته‌اند. در تمامی این بحران‌ها ماشین‌ها خطا کردند و انسان‌ها مانع فاجعه شدند؛ در نتیجه تهدید واقعی نه ربات‌های خودمختار، بلکه اعتماد به گزارش‌های نادرست هوش مصنوعی در دقایق بحرانی است.
شبکه برق چگونه در برابر حملات هوش مصنوعی مقاومت می‌کند؟ پاشنه آشیل تأسیسات کوچک شهری
در حالی که غول‌های انرژی با سرمایه‌گذاری سنگین سامانه‌های خود را در برابر نفوذ هکرها نفوذناپذیر کرده‌اند، تأسیسات محلی و کوچک خدمات شهری به هدفی آسان برای مهاجمان تبدیل شده‌اند. با ظهور ابزارهای هوش مصنوعی که حملات سایبری را ارزان‌تر و سریع‌تر می‌کنند، شکاف امنیتی این شبکه‌ها تهدیدی جدی برای زندگی شهروندان است.
معافیت یک‌ساله اینتل از قانون ممنوعیت ربات‌های خارجی؛ خطوط تولید تراشه آمریکا در امان ماندند
شرکت اینتل موفق شد برای ادامه فعالیت ناوگان خودروهای رباتیک خارجی در کارخانه‌های تراشه‌سازی خود در آمریکا، معافیتی یک‌ساله از کمیسیون ارتباطات فدرال دریافت کند. این تصمیم پس از آن اتخاذ شد که مقررات مبهم دولت ایالات متحده علیه ربات‌های ساخت خارج، نگرانی‌هایی جدی درباره توقف خطوط تولید نیمه‌رسانا ایجاد کرده بود.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.