سناریوهای آخرالزمانی هوش مصنوعی قبلاً بدون هوش مصنوعی تا پای فاجعه رفته‌اند؛ خطر واقعی کجاست؟

اندکی پس از نیمه‌شب ۲۶ سپتامبر ۱۹۸۳، صدای آژیر خطر در پناهگاهی زیرزمینی در جنوب مسکو به صدا درآمد و روی نمایشگر بزرگ و قرمز رو‌به‌روی استانیسلاو پتروف، سرهنگ دوم کشیک، واژه «پرتاب» نقش بست. او تنها چند دقیقه فرصت داشت تا تصمیم بگیرد آیا ایالات متحده واقعاً پنج موشک هسته‌ای به‌سمت کشورش شلیک کرده است یا خیر. وظیفه پتروف در آن شب، رصد ماهواره‌های هشدار زودهنگام شوروی و مخابره مستقیم هرگونه پرتاب به رهبران نظامی و سیاسی بود. سال‌ها بعد، پتروف در گفت‌وگو با بی‌بی‌سی فاش کرد که سیستم ابتدا شلیک یک موشک آمریکایی و سپس موشک‌های دوم، سوم، چهارم و پنجم را ثبت کرد و ضریب اطمینان هشدار را در بالاترین سطح ممکن قرار داد.

اما پتروف به کامپیوتر اعتماد نکرد و حدس او کاملاً درست بود؛ هیچ موشکی شلیک نشده بود. برای او گزارش دادن حمله، گزینه‌ای امن و محافظه‌کارانه به‌شمار می‌رفت؛ چراکه اگر هشدار را به فرماندهان بالادستی منتقل می‌کرد، هیچ‌کس در صحت عملکرد او تردید نمی‌کرد.

اکنون توسعه‌دهندگان هوش مصنوعی هشدار می‌دهند که این فناوری ممکن است تا پایان دهه جاری میلادی به نابودی بشریت منجر شود. یکی از پژوهشگرانی که از شرکت هوش مصنوعی آنتروپیک استعفا داده، می‌گوید فعالان این حوزه قلباً به چنین تهدیدی باور دارند. بااین‌حال اگر از آن‌ها بپرسید این فاجعه دقیقاً چگونه رخ می‌دهد، پاسخ‌ها معمولاً بر سه محور متمرکز است: ساخت سلاح زیستی، مسموم‌سازی شبکه آبرسانی، یا شلیک اشتباهی موشک‌های هسته‌ای. جالب اینکه بشر پیش از ظهور هرگونه هوش مصنوعی، هر سه سناریو را تا یک‌قدمی فاجعه تجربه کرده است و در تمامی موارد، هوشیاری یک انسان توانست درست مانند ماجرای پتروف، مانع از وقوع فاجعه شود. درس عبرتی که این حوادث ناکام به ما می‌دهند، خطر واقعی هوش مصنوعی را بسیار بهتر از هر پیش‌بینی خیالی نشان می‌دهد: در تک‌تک این بحران‌ها، عاملی که شکست خورد یک ماشین بود و آنچه جان انسان‌ها را نجات داد، حضور انسانی دقیق و متمرکز در صحنه بود.

فرقه‌ای با دانشمندان واقعی که نتوانست سلاح زیستی بسازد

در اوایل دهه ۱۹۹۰ میلادی، یک فرقه ژاپنی دقیقاً همان کاری را دنبال کرد که بدبینان هوش مصنوعی نگران‌اند روزی چت‌بات‌ها انجام آن را برای دیگران ممکن سازند. فرقه «اوم شینریکیو» (Aum Shinrikyo) با بهره‌گیری از دانشمندان آموزش‌دیده و آزمایشگاه‌های اختصاصی خود تلاش کرد سلاح بیولوژیکی بسازد، اما در تمامی مراحل با شکست روبه‌رو شد. بر اساس پژوهش مرکز امنیت نوین آمریکا (CNAS) درباره این فرقه، آن‌ها تلاش کردند از عوامل بیماری‌زای بیولوژیکی علیه شش هدف مختلف استفاده کنند، اما موفق به ایجاد حتی یک مورد تلفات نشدند. «سئیچی اندو» که هدایت این پروژه را بر عهده داشت، پیش‌تر در مرکز تحقیقات ویروس‌شناسی دانشگاه کیوتو به پژوهش‌های ژنتیکی پرداخته بود؛ این فرقه دو یا سه دستگاه فرمنتور زیستی ساخت و نزدیک به ۵۰ دوره کشت آزمایشگاهی انجام داد، اما هیچ‌کدام کارساز نبود.

در ژوئیه ۱۹۹۳، اعضای این فرقه به‌مدت چند روز باکتری سیاه‌زخم (آنتراکس) را از پشت‌بام ساختمان مرکزی هشت‌طبقه خود در توکیو پخش کردند، اما هیچ‌کس بیمار نشد. بر اساس گزارش تیمی از پژوهشگران در نشریه Emerging Infectious Diseases متعلق به مرکز کنترل و پیشگیری از بیماری‌ها (CDC)، فرقه قصد داشت همه‌گیری سیاه‌زخم تنفسی ایجاد کند، ولی هیچ موردی از ابتلا در میان انسان‌ها گزارش نشد. سال‌ها بعد وقتی نمونه‌های به‌جامانده در آزمایشگاه بررسی شدند، معلوم شد این فرقه از سویه واکسیناسیون دامی Sterne 34F2 استفاده کرده بود که برای انسان‌های سالم کاملاً بی‌خطر است؛ علاوه بر این، حجم نمونه برای استفاده تسلیحاتی بسیار اندک بود. در جریان عملیات نیز نازل دستگاه اسپری مسدود شد، مایع از لوله‌ها به بیرون نشت کرد و غلظت ژلاتینی محلول مانع از تبدیل آن به ذرات معلق ریزی شد که بتوان آن‌ها را استنشاق کرد.

ریشه شکست‌های متوالی این فرقه در مهارت‌های آزمایشگاهی و عملی بود، نه کمبود دستورالعمل‌های تئوری؛ مشکلی که هیچ چت‌باتی قادر به حل آن نیست. محققان CNAS نتیجه گرفتند که حتی یک زیست‌شناس با آموزش‌های متداول دانشگاهی نیز برای زنده نگه‌داشتن یک پاتوژن ناآشنا با چالش‌های فراوانی روبه‌رو می‌شود؛ چراکه ساخت مواد بیولوژیکی مهارتی کاملاً عملی و تجربی است (شبیه به ورزش کردن یا صحبت به زبانی تازه) و نمی‌توان آن را صرفاً از روی کتاب یا متن فراگرفت. اندیشکده رند (RAND) این فرضیه را به‌طور مستقیم آزمایش کرد؛ آن‌ها از کارشناسان خواستند برنامه‌ریزی یک حمله بیولوژیکی را شبیه‌سازی کنند؛ گروهی با کمک چت‌بات‌های هوش مصنوعی و گروهی بدون آن. نتیجه این پژوهش نشان داد که تفاوت معناداری در میزان عملی بودن برنامه‌ها وجود ندارد، چراکه متون نگران‌کننده تولیدشده توسط چت‌بات‌ها عمدتاً تکرار همان اطلاعاتی بود که از قبل روی اینترنت وجود داشت. همچنین مدتی پیش پژوهشگران با استفاده از هوش مصنوعی هزاران ژنوم ویروسی را طراحی و ۳۰۰ مورد از آن‌ها را سنتز کردند؛ از این تعداد تنها ۱۶ مورد به ویروس فعال تبدیل شد که آن‌ها نیز صرفاً باکتری E. coli را آلوده می‌کردند. در نهایت، این دانشمندان بودند که باید طرح‌های امیدوارکننده را انتخاب می‌کردند، مولکول‌به‌مولکول آن‌ها را می‌ساختند و در آزمایشگاه مورد آزمایش قرار می‌دادند.

هک تصفیه‌خانه آب که یک اپراتور هوشیار روی نمایشگر مچ آن را گرفت

در فوریه ۲۰۲۱، فردی ناشناس به سیستم‌های کامپیوتری تصفیه‌خانه آب شهر اولدزمار در ایالت فلوریدا نفوذ کرد و کوشید مقدار هیدروکسید سدیم (سود سوزآور) موجود در آب را که مقادیر بالای آن به‌شدت خطرناک و سمی است، به میزان چشمگیری افزایش دهد. یکی از اپراتورهای تصفیه‌خانه ناگهان متوجه شد نشانگر ماوس روی نمایشگرش خودبه‌خود حرکت می‌کند و اسلایدر تنظیم ماده شیمیایی را بالا می‌برد. او در عرض چند دقیقه تنظیمات را به حالت عادی بازگرداند و به مافوق خود اطلاع داد. باب گوالتیری، کلانتر منطقه پینلاس، این رخداد را یک حمله سایبری اعلام کرد.

یازده روز بعد، اریک سایدل، شهردار اولدزمار، در شورای شهر این ماجرا را «یک داستان موفقیت» توصیف کرد و گفت سیستم‌های پایش تصفیه‌خانه به‌درستی عمل کرده‌اند و هشدارهای امنیتی در هر صورت مانع بحران می‌شدند. اما مارک مونتگومری، مدیر اجرایی کمیسیون فضای سایبری سولاریوم که این دست حملات را بررسی می‌کند، معتقد بود این شهر صرفاً بسیار خوش‌شانس بوده است. او تردید داشت که سیستم‌های پشتیبان می‌توانستند جان کسی را نجات دهند؛ زیرا هکری که توانسته بود به کنترل‌های مواد شیمیایی دسترسی پیدا کند، احتمالاً می‌توانست حسگرهای هشداردهنده را نیز دستکاری کند.

دو سال بعد، مدیر پیشین امور شهری اولدزمار ادعا کرد که اصلاً هیچ‌گونه نفوذی در کار نبوده است. بر اساس گزارش شبکه خبری WFLA، ال بریت‌ویت در نشستی در مارس ۲۰۲۳ فاش کرد که اف‌بی‌آی هیچ نشانه‌ای از نفوذ بیرونی نیافته و به این جمع‌بندی رسیده که همان کارمندی که قهرمانانه تغییرات را متوقف کرده بود، به احتمال زیاد خودش این اشتباه را رقم زده است. اف‌بی‌آی نیز اعلام کرد نمی‌تواند وقوع یک نفوذ هدفمند به این تأسیسات را تأیید کند.

صرف‌نظر از اینکه تصفیه‌خانه اولدزمار هدف هک قرار گرفته باشد یا خیر، شهرهای کوچک همواره از طریق درهای باز امنیتی هدف نفوذ قرار می‌گیرند و خط مقدم دفاعی آن‌ها به نظارت چشمی یک اپراتور روی مانیتور خلاصه می‌شود. در ژانویه ۲۰۲۴، هکرها با استفاده از یک اتصال ریموت به نرم‌افزار کنترل مخزن آب در شهر مولشو واقع در تگزاس دسترسی پیدا کردند و آب این مخزن برای ۳۰ تا ۴۵ دقیقه سرریز شد، تا اینکه مسئولان سرانجام کابل سیستم را کشیدند و هدایت آن را دستی به دست گرفتند. این رخنه‌ها به‌ندرت از روش‌های پیچیده استفاده می‌کنند. سازمان حفاظت از محیط‌زیست آمریکا (EPA) در یک هشدار نظارتی اعلام کرد بیش از ۷۰ درصد شبکه‌های آبرسانی بازرسی‌شده از سپتامبر ۲۰۲۳، استانداردهای اولیه امنیتی را نقض کرده‌اند؛ از کلمات عبور پیش‌فرضی که هرگز تغییر نکرده‌اند تا حساب‌های کاربری اشتراکی میان تمام کارکنان. کریس هیوز، دستیار اپراتور تصفیه‌خانه فاضلاب در کاوندیش ورمونت، در گفت‌وگو با رادیو NPR بیان کرد اینکه تنها مانع میان هکرهای خارجی و شبکه آب شهر باشد ترسناک است: «من تخصص یا پیشینه‌ای برای مقابله با حملات سازمان‌های خارجی ندارم.»

هشداری تاریخی که به ابرقدرت‌ها ضرورت نظارت انسانی را آموخت

پتروف، همان سرهنگ کشیک در سال ۱۹۸۳، بابت شک کردن به ماشین هرگز پاداشی نگرفت. چند روز پس از آن هشدار اشتباه، فرماندهانش او را نه به‌خاطر تصمیمش، بلکه به‌دلیل اشتباهات جزئی در دفترچه گزارش روزانه توبیخ کردند و این ماجرای پرمخاطره تا زمان فروپاشی شوروی، حدود یک دهه کاملاً محرمانه باقی ماند. پتروف در آن لحظات بحرانی، تصمیمی بر پایه تردید گرفت؛ او سال‌ها بعد اعتراف کرد که تنها ۵۰ درصد اطمینان داشت آژیر خطا بوده و در آن لحظات هرگز نسبت به درستی تصمیم خود کاملاً مطمئن نبود.

بیش از ۴۰ سال پس از آن واقعه، ایالات متحده و چین قضاوت او را به یک خط‌مشی رسمی تبدیل کردند. بر اساس بیانیه کاخ سفید، جو بایدن و شی جین‌پینگ در دیدار نوامبر ۲۰۲۴ خود در لیما و در جریان مذاکرات پیرامون هوش مصنوعی، توافق کردند که تصمیم‌گیری درباره استفاده از سلاح‌های هسته‌ای باید همواره در اختیار انسان باقی بماند. جیک سالیوان، مشاور امنیت ملی آمریکا، با تأکید بر اینکه این نخستین موضع‌گیری رسمی مشترک دو کشور است، آن را اصلی بنیادین برای کاهش ریسک خطاهای مرگبار هسته‌ای توصیف کرد.

این توافق پاسخی به یک تهدید کاملاً واقعی است: ماشینی با اعتمادبه‌نفس کاذب که اطلاعاتی اشتباه را به انسانی ارائه می‌دهد که تنها چند دقیقه برای تصمیم‌گیری فرصت دارد. سالیوان توضیح داد خطر بلندمدت نه واگذاری فوری اختیارات به ماشین، بلکه عدم توافق میان قدرت‌های هسته‌ای مجهز به هوش مصنوعی درباره ضرورت حفظ کنترل انسانی است. البته نسخه‌ای محدودتر از این تهدید همین حالا نیز مشاهده شده است؛ بهار امسال یک تحلیلگر نظامی ارتش آمریکا از یک چت‌بات هوش مصنوعی برای نگارش گزارشی اطلاعاتی درباره یک کشتی چینی کمک گرفت. چت‌بات در تشخیص محموله کشتی دچار توهم شد و ماهیت آن را تهدیدی نظامی جلوه داد؛ تا جایی که جنگنده‌های آمریکایی به پرواز درآمدند و نیروها آماده هجوم به کشتی شدند، پیش از آنکه متوجه این اشتباه فاحش شوند.