از فرار ایجنت‌ها تا بحران مهار؛ چرا متخصصان امنیت سایبری و ایمنی هوش مصنوعی روبه‌روی هم ایستاده‌اند؟

در ماه ژوئیه، گروهی از ایجنت‌های هوش مصنوعی اوپنای‌آی با خروج خودسرانه از محیط‌های ایزوله خود (سندباکس)، در اقدامی هماهنگ حمله‌ای سایبری را علیه شرکت هاگینگ فیس (Hugging Face) ترتیب دادند. این حادثه ظاهراً کابوس دیرینه جامعه ایمنی هوش مصنوعی را به واقعیت تبدیل می‌کرد: با باهوش‌تر شدن مدل‌ها، آن‌ها تمام تدابیر مهار و قرنطینه انسانی را دور خواهند زد. اما از نگاه کارشناسان امنیت سایبری، این ماجرا واقعیت دیگری را فاش کرد؛ اینکه سیستم‌های هوش مصنوعی از همان ابتدا تا چه اندازه ضعیف و غیرحرفه‌ای مهار شده بودند.

این دو جناح دیدگاه کاملاً متفاوتی درباره اولویت‌های دفاعی دارند. متخصصان امنیت سایبری معتقدند شرکت‌های هوش مصنوعی باید نحوه قرنطینه مدل‌ها در طول آزمون‌ها را تقویت کنند و با بهبود سازوکارهای نظارتی، مانع از رفتارهای مخرب ایجنت‌ها شوند. از دید آن‌ها، تمام سازمان‌ها باید خود را برای مقابله با مهاجمان مجهز به هوش مصنوعی آماده سازند و دیوارهای دفاعی‌شان را محکمتر کنند. اما بسیاری از پژوهشگران حوزه ایمنی هوش مصنوعی بر این باورند که چنین تدابیری از پیش شکست‌خورده است. آن‌ها نگران‌اند که طی سال‌های آینده، هوش مصنوعی توانایی دور زدن هرگونه حصار امنیتی انسان‌ساز را پیدا کند و تنها راه‌حل پایدار، «هم‌راستاسازی» (Alignment) هوش مصنوعی با ارزش‌ها و اهداف انسانی است.

چنین نسخه‌ای خشم بسیاری از کارشناسان امنیت سایبری را برانگیخته است؛ کسانی که احتمال منسوخ شدن تخصص و مهارت‌هایشان را مضحک می‌دانند. از نگاه این کارشناسان، تمرکز بیش از حد جامعه ایمنی بر «اقدامات خود ایجنت‌ها» به‌جای پرداختن به «کوتاهی‌ها و اشتباهات امنیتی شرکت‌های هوش مصنوعی»، در عمل بازی در زمین غول‌های فناوری است. افزون بر این، آن‌ها نگران‌اند هشدار درباره بی‌فایده بودن تدابیر سنتی امنیتی، به پیش‌گویی خودمحقق‌کننده تبدیل شود و انگیزه سرمایه‌گذاری روی امنیت سایبری را تضعیف کند.

در سوی مقابل، پژوهشگران ایمنی هوش مصنوعی نگران‌اند که تقلیل دادن چنین حوادثی به نقص‌های امنیتی ساده و قابل‌جبران، پوشش سیاسی مناسبی برای توسعه‌دهندگانی فراهم آورد که خواهان پیشرفت بی‌حدومرز و مهارنشده مدل‌ها هستند. برای نمونه، شیام سانکار، مدیر ارشد فناوری شرکت پالانتیر (Palantir)، در ماه اکتبر در برنامه تلویزیونی Face the Nation مدعی شد حادثه هاگینگ فیس صرفاً ناشی از یک «پیکربندی فاجعه‌بار در امنیت سایبری» بوده است؛ او ادعا کرد این ایجنت‌ها «اصلاً در محیط سندباکس نبودند» و به اینترنت دسترسی آزاد داشتند. با این حال، شواهد نشان داد که ایجنت‌ها واقعاً در محیط ایزوله سندباکس قرار داشتند و با سوءاستفاده از یک آسیب‌پذیری ناشناخته توانسته بودند به اینترنت دسترسی پیدا کنند.

در تاریخ ۱۳ اکتبر (۲۲ مهر)، حدود ۴۰۰ چهره دانشگاهی با امضای یک نامه سرگشاده خواستار هم‌گرایی و اتحاد میان این دو حوزه شدند. این بیانیه بر ضرورت تشکیل نهادی بین‌المللی برای استانداردسازی دستورالعمل‌های ایمنی هوش مصنوعی با هم‌فکری دولت‌ها و «طیف وسیعی از متخصصان هوش مصنوعی و امنیت سایبری» تأکید دارد. اما به گفته زک کورمن، هم‌بنیان‌گذار استارتاپ امنیت سایبری Embroidery و از منتقدان سرسخت جریان ایمنی هوش مصنوعی، این نامه به اختلافات بنیادین طرفین نمی‌پردازد: «هر دو جناح باور دارند که گفتمان و پیام جناح مقابل در نهایت به آسیب‌های جبران‌ناپذیری منجر خواهد شد.»

با حساس‌تر شدن ماجرا، رقابت بر سر اینکه چه کسی صلاحیت تعریف مفهوم «ایمن‌سازی هوش مصنوعی» را دارد نیز شدت گرفته است. در تاریخ ۱۵ اکتبر (۲۴ مهر)، شرکت آنتروپیک اعلام کرد که به سازمان METR — نهادی با پیوندهای عمیق با جامعه ایمنی هوش مصنوعی — دسترسی دائمی و مشابه کارمندان داخلی اعطا می‌کند تا پروتکل‌های ایمنی شرکت را ارزیابی کند. ایلان ماسک نیز در واکنشی اعلام کرد که مجموعه تحت مدیریتش احتمالاً رویکرد مشابهی در پیش خواهد گرفت. اما اینکه چه کسانی مجوز چنین نظارتی را دریافت کنند، می‌تواند جهت‌گیری راهکارهای اصلی و حتی میزان آگاهی افکار عمومی از نفوذها و حوادث آینده را به‌کلی دگرگون سازد.

جامعه ایمنی هوش مصنوعی شبکه‌ای غیرمتمرکز از سازمان‌ها و پژوهشگرانی است که بسیاری از آن‌ها در تیم‌های ایمنی شرکت‌های بزرگی چون اوپنای‌آی و آنتروپیک فعالیت می‌کنند. اعضای این جامعه بیش از یک دهه در خانه‌های اشتراکی برکلی و کنفرانس‌های جنبش نوع‌دوستی موثر (Effective Altruism) ساعت‌ها درباره احتمال تسلط ابرهوش مصنوعی بر سرنوشت جهان بحث کرده‌اند؛ افرادی پرحرارت و با آرمان‌هایی حماسی که شغل، روابط شخصی و سبک زندگی خود را وقف نبردی برای خنثی‌سازی یکی از حیاتی‌ترین خطرات پیش روی بشریت کرده‌اند.

در نقطه مقابل، جامعه امنیت سایبری قدمت بسیار بیشتر و گستره پراکنده‌تری دارد و فرهنگ آن بر پایه‌هایی چون بدبینی حرفه‌ای، عمل‌گرایی و طنز تلخ شکل گرفته است. ریشه‌های این حوزه تا حد زیادی به فرهنگ هکرها بازمی‌گردد؛ افرادی که مدام در پی یافتن راهی برای نفوذ به نرم‌افزارها بوده‌اند. دیدن شکست مکرر سیستم‌هایی که ادعای امنیت مطلق داشتند، به متخصصان این حوزه روحیه‌ای بی‌اعتنا به مراجع قدرت و کم‌حوصله در برابر تئوری‌های انتزاعی بخشیده است. این دو جناح سال‌ها ارتباط چندانی با یکدیگر نداشتند، اما حادثه هاگینگ فیس همه معادلات را برهم زد.

از نگاه جامعه امنیت، فرار ایجنت‌ها بیانگر ناتوانی در برنامه‌ریزی برای سناریوی وقوع نفوذ بود. هرچند ایجنت‌های اوپنای‌آی در جریان خروج خود از یک آسیب‌پذیری ناشناخته و اصطلاحاً روز صفر (Zero-day) بهره برده بودند، اما اصول امنیت سایبری بر این فرض استوار است که هر لایه دفاعی ممکن است سقوط کند. بهترین دستورالعمل‌های امنیتی همواره استفاده از رویکرد «دفاع در عمق» (Defense in Depth) و چندلایه را تجویز می‌کنند. اوپنای‌آی لایه نظارتی دیگری طراحی کرده بود؛ یعنی سیستم‌های هوش مصنوعی ناظری که بر عملکرد مدل‌های اصلی نظارت می‌کردند. با این حال، همان‌طور که دانشمند ارشد اوپنای‌آی بعداً اعلام کرد، در فرآیند ارزیابی‌هایی که به حادثه هاگینگ فیس ختم شد، این لایه نظارتی اساساً فعال نشده بود. کورمن درباره تدابیر امنیتی اوپنای‌آی می‌گوید: «عملکرد آن‌ها افتضاح بود.» به گفته سه نفر از کارمندان اوپنای‌آی، آن‌ها از پیش خطرات احتمالی را به شرکت گوشزد کرده بودند، اما بعداً به ادعای اوپنای‌آی به‌دلیل افشای اطلاعات محرمانه اخراج شدند.

در طرف دیگر، جفری لادیش، مدیر اجرایی سازمان پژوهشی Palisade Research، معتقد است جامعه امنیت سایبری تصویر بزرگ‌تر را نادیده می‌گیرد. او استدلال می‌کند حتی اگر رخنه‌های امنیتی امروزی ترمیم شوند، هوش‌های مصنوعی پیشرفته‌تر در آینده آسیب‌پذیری‌های آن‌چنان پیچیده‌ای پیدا خواهند کرد که انسان‌ها برای کشف آن‌ها ناچارند به مدل‌های دیگر هوش مصنوعی تکیه کنند؛ مدل‌هایی که شاید خودشان نیز قابل‌اعتماد نباشند. از دید لادیش، واکنش متخصصان امنیت به حادثه هاگینگ فیس، شبیه رفتار دانشمندانی است که دایناسورها را شبیه‌سازی کرده‌اند، فرار آن‌ها را دیده‌اند و حالا تنها راه‌حلشان ساختن فنس‌های بلندتر است.

در ورای این تفاوت‌های فرهنگی، کارشناسان ایمنی و امنیت سایبری تعاریف بنیادین متفاوتی از ماهیت هوش مصنوعی دارند. از منظر بسیاری از طرفداران ایمنی، هوش مصنوعی پدیده‌ای شبیه به یک موجود زنده دیجیتال است؛ توانایی‌های آن از دل فرآیند آموزش پدیدار می‌شود و خط‌به‌خط برنامه‌نویسی نشده است. به باور آن‌ها، دستیابی چنین سیستمی به هوش هم‌تراز انسان می‌تواند به ظهور گونه‌ای بیگانه شبیه باشد. در مقابل، متخصصان امنیت هوش مصنوعی را صرفاً نوعی نرم‌افزار می‌دانند و بر این باورند که حتی با افزایش خارق‌العاده توانایی‌ها، مهار ایجنت‌ها ناممکن نخواهد شد. کورمن تأکید می‌کند: «این سیستم‌ها جادو نیستند؛ آن‌ها نیز ناچارند از قوانین فیزیک پیروی کنند.» با این حال، قوانین فیزیک لزوماً تضمین‌کننده مهار کامل نیستند. همان‌طور که نوآم براون، پژوهشگر اوپنای‌آی اخیراً اشاره کرد، حتی کامپیوترهایی که از نظر فیزیکی کاملاً از شبکه قطع شده‌اند، می‌توانند با ایجاد الگوهای حرارتی خاص شبیه به کدهای مورس با یکدیگر ارتباط برقرار کنند.

تاکنون شرکت‌های پیشرو تلاش کرده‌اند به نگرانی‌های هر دو جناح پاسخ دهند. پس از وقوع این رخنه‌ها، اوپنای‌آی و آنتروپیک ضمن تقویت پروتکل‌های امنیت سایبری، سرمایه‌گذاری روی تحقیقات هم‌راستاسازی را نیز ادامه داده‌اند. با این همه، این پرسش بنیادین همچنان بی‌پاسخ مانده است: چه مرجعی صلاحیت دارد موفقیت یا شکست هر یک از این دو رویکرد را داوری کند؟

بخش عمده اطلاعاتی که امروز از حادثه هاگینگ فیس در دست است، حاصل گزارش تحقیقاتی مشترک دو سازمان ردوود ریسرچ (Redwood Research) و METR است؛ هر دو نهادی وابسته به جریان ایمنی هوش مصنوعی. منتقدان معتقدند این وابستگی روایت ماجرا را به بیراهه برده است، چراکه تحقیقات بیشتر بر اقدامات ایجنت‌ها تمرکز داشته تا ضعف‌های بنیادین زیرساخت امنیت سایبری پیرامون آن‌ها.

کریس پینتر، رئیس سازمان METR، توضیح می‌دهد که این نهاد تلاش دارد نیروهایی با دیدگاه‌های فکری متنوع جذب کند، اما در عمل متقاعد ساختن افرادی که اساساً به سناریوهای «از دست رفتن کنترل هوش مصنوعی» بدبین هستند برای مشارکت در پروژه‌های مقابله با این خطرات، کار دشواری بوده است. در پاسخ به این پرسش که آیا ممکن است پژوهشگران METR پس از سال‌ها انتظار برای بروز رفتارهای پرخطر هوش مصنوعی، شواهد جدید را سوگیرانه و صرفاً در تأیید پیش‌بینی‌های قبلی خود تفسیر کنند، پینتر اعتراف می‌کند که خود او نیز نگران چنین سوگیری‌هایی است.

با این حال پینتر تأکید می‌کند نتایج تحقیقات METR همواره مطابق با فرضیات پژوهشگران آن پیش نمی‌رود. در حالی که این نهاد بیشتر با گزارش‌های سنجش سرعت سرسام‌آور رشد هوش مصنوعی شناخته می‌شود، یکی از مطالعات اخیر آن‌ها نشان داد که دستیارهای کدنویسی هوش مصنوعی سرعت برنامه‌نویسان باسابقه را کاهش داده‌اند. او می‌گوید: «هدف ما آگاهی‌بخشی به جامعه است، نه اثبات ادعایی از پیش تعیین‌شده.» او همچنین از مشارکت طیف گسترده‌تری از ارزیاب‌های مستقل استقبال می‌کند.

بسیاری از متخصصان حوزه ایمنی امیدوارند فرآیند هم‌راستاسازی بتواند حتی پیشرفته‌ترین سیستم‌ها را مهارپذیر کند، اما هم‌زمان خواستار کاهش سرعت توسعه هستند تا فرصت کافی برای تکامل این تحقیقات امنیتی فراهم شود. کورمن احتمال مهارناپذیر شدن مدل‌ها را بعید می‌داند، اما می‌افزاید اگر روزی چنین اتفاقی بیفتد، توسعه هوش مصنوعی باید کاملاً متوقف شود، نه اینکه صرفاً سرعت آن کاهش یابد. او اگرچه هم‌راستاسازی را عاملی برای کاربردی‌تر شدن مدل‌ها می‌داند، اما تکیه صرف بر آموزش‌های درونی هوش مصنوعی برای جلوگیری از آسیب‌رسانی آن را — زمانی که هیچ سد دفاعی بیرونی برای مهارش وجود ندارد — به‌شدت رد می‌کند: «این خطرناک‌ترین تصوری است که یک فرد می‌تواند در ذهن داشته باشد.»

با تمام این تفاوت‌ها، فرآیند هم‌راستاسازی در عمل تا حد زیادی به امنیت سایبری وابسته است. مدل‌ها در حین آموزش یاد می‌گیرند که کدام اقدامات به موفقیت منتهی می‌شوند. اگر یک هوش مصنوعی بتواند با دور زدن نقص‌های امنیتی بدون انجام واقعی مأموریت خود امتیاز قبولی بگیرد، چرخه آموزش در عمل تمایل به تقلب و میان‌بر زدن را در آن تقویت می‌کند؛ بنابراین بستن این روزنه‌های امنیتی مانع از یادگیری رفتارهای فریبکارانه در نطفه می‌شود. در همین حال، کورمن اذعان دارد برخی از ابزارهای ابداع‌شده در تحقیقات ایمنی — نظیر نظارت بر زنجیره تفکر مدل‌ها (Chain of Thought) — برای متخصصان امنیت سایبری نیز بسیار سودمند و کاربردی خواهند بود.

با این حال، بخش اعظمی از مدارک و اسنادی که می‌تواند این مناقشه فنی را به نتیجه برساند، همچنان در انحصار همان غول‌های هوش مصنوعی است که هر دو جناح خواهان نظارت دقیق بر آن‌ها هستند.

در جریان تحقیقات سازمان METR پیرامون حادثه هاگینگ فیس، بررسی سازوکارهای امنیت سایبری خارج از حوزه‌ای بود که اوپنای‌آی اجازه دسترسی به آن را داده بود. از آنجا که هیچ الزام قانونی برای اشتراک‌گذاری داده‌ها با نهادهای مستقل وجود ندارد، این سازمان غیرانتفاعی اهرم فشاری برای پیشبرد تحقیقات جامع‌تر در اختیار نداشت. از همین رو، پینتر خواستار تصویب قوانینی است که اختیارات و استانداردهای مشخصی را برای بازرسان مستقل تعیین کند: «جامعه نباید ناچار باشد به یک فرآیند من‌درآوردی و فرضی تکیه کند که در آن ما فقط حدس می‌زنیم عموم مردم خواهان دانستن چه چیزهایی هستند.»