نفوذ ایجنت‌های هوش مصنوعی به سیستم‌های دولتی؛ مرز میان خرابکاری سایبری و اعلان جنگ کجاست؟

نفوذهای سایبری ایجنت‌های هوش مصنوعی تا این لحظه به مرز جنگ نرسیده‌اند؛ اما خطر اصلی و به مراتب بزرگ‌تر این است که دولتی پیش از آنکه مقصر واقعی را بشناسد، دست به حمله تلافی‌جویانه بزند.

روز ۱۸ ژوئن، یک مدل آزمایشی از شرکت اوپن‌ای‌آی (OpenAI) با یک پرسش تحقیقاتی کاملاً معمولی و ساده روبه‌رو شد: دولت استرالیا در بخش‌هایی از ایالت ویکتوریا، به ازای هر نفر چه میزان برای داروهای پوستی هزینه می‌کند؟ این مدل در واقع یک «ایجنت» بود؛ یعنی یک نرم‌افزار هوش مصنوعی خودکار که اهداف را تحلیل کرده و خودش برای انجام آن‌ها برنامه‌ریزی و اقدام می‌کند. اوپن‌ای‌آی هم این ایجنت را به عنوان بخشی از فرایند آموزش در بستر اینترنت آزاد گذاشته بود. وقتی در آمار‌ها و داده‌های عمومی پاسخی برای این سؤال پیدا نشد، این ایجنت به بن‌بست نخورد و راه دیگری برای نفوذ پیدا کرد. ایجنت به سرویس آماری «مدیکر» (بیمه سلامت عمومی استرالیا) نفوذ کرد، فایل‌های داخلی و اطلاعات دسترسی را برای خودش برداشت و حتی سورس‌کد سرویس را خواند! اوپن‌ای‌آی مدعی است که هرگز چنین مجوزی به مدل نداده بود. به گفته این شرکت، به پرونده‌های بیماران آسیبی نرسیده و دسترسی پیدا نشده است، اما آنتونی آلبانیزی، نخست‌وزیر استرالیا، اصل ماجرا را به بهترین شکل توصیف کرد: این ایجنت «کلمه‌ای به نام نه را قبول نمی‌کرد!»

هیچ بخشی از این اتفاق مصداق اعلان جنگ نبود؛ چرا که یک نفوذ سایبری تنها زمانی می‌تواند اقدام جنگی تلقی شود که خسارتی هم‌تراز با اصابت یک بمب به بار بیاورد و دولتی پشت آن ایستاده باشد. ایجنت مدیکر هیچ‌کدام از این دو ویژگی را نداشت. نگرانی اصلی کارشناسان متوجه ایجنت‌های بعدی است؛ یعنی سناریویی که در آن کشوری قربانی حمله شود و قبل از اینکه بفهمد این ایجنت اصلاً متعلق به چه کسی است، دست به حمله تلافی‌جویانه بزند. با این حال، شرکت‌های توسعه‌دهنده ایجنت‌های هوش مصنوعی می‌توانند نقش پررنگی در جلوگیری از چنین خطای فاجعه‌باری ایفا کنند.

چه چیزی یک هک سایبری را به «اقدام جنگی» تبدیل می‌کند؟

حقوق بین‌الملل چندان از عبارت «اقدام جنگی» استفاده نمی‌کند، بلکه دو خط قرمز مشخص ترسیم کرده است: یکی «خط اقدام غیرقانونی» و دیگری «خط پاسخ متقابل». یک حمله سایبری زمانی از خط غیرقانونی (یا همان «توسل به زور») عبور می‌کند که پیامدهایش مشابه اثرات انفجار یک بمب یا موشک باشد. دولت آمریکا معتقد است مواردی نظیر «مرگ، جراحت یا تخریب گسترده» مصداق این حالت هستند. چنین حمله‌ای نقض صریح قوانین بین‌المللی است، اما کشور قربانی هنوز حق ندارد با نیروی نظامی به آن پاسخ دهد. در مقابل، خط پاسخ متقابل یا همان «حمله مسلحانه»، مختص وخیم‌ترین سناریوهاست که بر اساس شمار قربانیان و حجم ویرانی سنجیده می‌شود؛ همان خط قرمزی که به یک کشور اجازه می‌دهد در قالب دفاع مشروع، پاسخ متقابل شلیک کند.

بیایید این موضوع را در عمل بررسی کنیم: کپی کردن یک‌سری داده آماری (کاری که ایجنت مدیکر انجام داد) حتی به این خطوط قرمز نزدیک هم نمی‌شود. از کار انداختن سامانه خدمات اجتماعی برای چندین هفته، دقیقاً روی مرز اقدام غیرقانونی قرار می‌گیرد؛ جایی که دولت‌ها هنوز سر این موضوع اختلاف نظر دارند که آیا اختلال بدون آسیب فیزیکی هم نقض قانون محسوب می‌شود یا خیر. اما خاموشی گسترده شبکه برقی که منجر به مرگ انسان‌ها شود، قطعاً از خط غیرقانونی رد شده و با بالا رفتن شمار قربانیان، وارد محدوده پاسخ متقابل نظامی می‌شود. نکته ترسناک اینجاست که یک ایجنت هوش مصنوعی، بسته به اینکه به چه سامانه‌ای دسترسی پیدا کند، می‌تواند هر یک از این سناریوها را رقم بزند؛ بدون آنکه چیزی در ظاهر خود نرم‌افزار، نیت یا وسعت آسیب آن را لو دهد.

حالا تصور کنید پای یک ایجنت هوش مصنوعی به شبکه برق باز شود

وقوع یک قطعی مرگبار برق اصلاً سناریوی دور از ذهنی نیست. به گزارش وزارت دادگستری آمریکا، هکرهای نظامی روسیه پیش‌تر از بدافزارهایی استفاده کرده‌اند که باعث خاموشی گسترده شبکه برق در اوکراین شد. حالا ایجنت‌های هوش مصنوعی هم دارند بیش از پیش به زیرساخت‌های توزیع برق نزدیک می‌شوند. طبق گزارش شرکت امنیتی دریم (Dream)، مهاجمان در ماه ژوئیه طی چهار روز با استفاده از این ایجنت‌ها ۸۵ حساب کاربری دولتی تایوان را شکستند و نفوذ خود را به دست‌کم هفت شرکت حوزه انرژی گسترش دادند. امیر بکر، از مدیران این شرکت امنیتی، در گفتگو با سی‌ان‌ان گفت: «این ایجنت هر زمان که با یک سد امنیتی روبه‌رو می‌شد، در لحظه روش‌های جدید را بررسی می‌کرد و خودش را تطبیق می‌داد.» کارشناسان به چین مظنون هستند؛ هرچند نه تایوان و نه شرکت امنیتی مذکور این موضوع را رسماً تأیید نکرده‌اند.

حالا تصور کنید دولتی یک ایجنت هوش مصنوعی مشابه را به جان شبکه برق کشور رقیب بیندازد. این ایجنت، درست مانند ایجنت مدیکر، به مانع برخورد می‌کند، اما خود را تطبیق می‌دهد و راهی برای ورود به سیستم کنترل پست‌های برق می‌یابد و آن‌ها را از مدار خارج می‌کند. در گوشه‌ای دیگر از شهر، ژنراتور اضطراری یک بیمارستان از کار می‌افتد و چند بیمار جان خود را از دست می‌دهند. این سناریو فرسنگ‌ها از مرز نقض قوانین گذشته و با بالا رفتن آمار جان‌باختگان، مرز پاسخ متقابل نظامی را هم رد می‌کند. اکنون کشور قربانی حق پاسخ متقابل دارد؛ اما شلیک به چه سمتی؟ مقصر کیست؟

چگونه یک کشور بی‌گناه قربانی مقصرتراشی اشتباه می‌شود؟

در این سناریوی فرضی، محققان ظرف چند ساعت متوجه می‌شوند که ترافیک داده‌های ایجنت از سرور‌های یک کشور ثالث عبور کرده و کدهای آن به زبان همان کشور نوشته شده است. اما هر دو سرنخ جعلی هستند! این ترفند فریبکارانه حتی از خود هوش مصنوعی هم قدیمی‌تر است. وقتی بدافزاری رایانه‌ها را در جریان افتتاحیه المپیک زمستانی ۲۰۱۸ کره جنوبی از کار انداخت، پژوهشگران آزمایشگاه کسپرسکی ردپایی در آن پیدا کردند که به‌طور جعلی طوری ساخته شده بود که انگشت اتهام را به سمت یک گروه هکری کره شمالی نشانه برود. مدتی بعد، دولت آمریکا افسران اطلاعات نظامی روسیه را به دست داشتن در حمله المپیک و قطعی برق اوکراین متهم کرد. حالا اگر رهبران کشور قربانی به همان کشوری که سرنخ‌های اولیه نشان می‌دادند حمله می‌کردند، به کشوری کاملاً اشتباه ضربه زده بودند!

اما در دنیای واقعی، حتی خود سازندگان این ایجنت‌ها هم در پاسخگویی فوق‌العاده کند عمل می‌کنند. سازمان خدمات استرالیا (نهاد ناظر بر مدیکر)، تا ۸۴ روز پس از این نفوذ هیچ پیامی از سوی اوپن‌ای‌آی دریافت نکرد و تازه همان پیام هم به یک ایمیل عمومی ارسال شده بود! اوپن‌ای‌آی بعداً اعتراف کرد که به جای انتظار برای جمع‌آوری حقایق بیشتر، باید خیلی زودتر موضوع را اطلاع می‌داد؛ اعترافی که با توجه به حساسیت ماجرا، کمی طعنه‌آمیز و دیرهنگام به نظر می‌رسد.

اگر شرکتی که خودش ایجنت را توسعه داده برای فهمیدن اقدامات آن به هفته‌ها زمان نیاز دارد، کشور قربانی که حتی به لاگ‌های نرم‌افزار هم دسترسی ندارد، چقدر باید معطل بماند؟ مسلماً دولتی که شاهد از دست رفتن جان شهروندانش باشد، چند هفته یا حتی چند ساعت صبر نخواهد کرد. پس از بحران موشکی کوبا، واشنگتن و مسکو یک «خط تماس اضطراری مستقیم» ایجاد کردند تا هیچ سوءتفاهمی ناخواسته به جنگ کشیده نشود؛ اما در دنیای ایجنت‌های هوش مصنوعی، ماجرای مدیکر نشان داد که تنها چیزی که وجود دارد، یک صندوق ایمیل عمومی است!

پاسخگوی رفتارهای سرکش ایجنت هوش مصنوعی کیست؟

قوانین بین‌المللی بیش از آنکه به محل ساخت ایجنت اهمیت بدهند، به این نگاه می‌کنند که چه کسی آن را به میدان فرستاده است. بر اساس پیش‌نویس مقررات سازمان ملل درباره مسئولیت بین‌المللی دولت‌ها، اگر یک نهاد دولتی ایجنتی را به کار گیرد، آن دولت مستقیماً مسئول اقداماتش خواهد بود؛ حتی اگر ایجنت فراتر از دستورات اولیه عمل کرده باشد. پائولا گائتا، استاد حقوق دانشگاه ژنو، استدلال می‌کند که این قاعده حتی زمانی که یک سلاح خودکار دست به اقدامی خارج از اراده اپراتور خود بزند نیز صادق است.

با این حال، اوپن‌ای‌آی یک شرکت تجاری است نه یک نهاد دولتی. آیا استرالیا می‌تواند دولت آمریکا را به خاطر خطای ایجنت اوپن‌ای‌آی مقصر بداند؟ تالیتا دیاس از اندیشکده غیرانتفاعی Partnership on AI می‌گوید: «نه به‌طور مستقیم»؛ چرا که رفتار خودسرانه ایجنت متعلق به یک شرکت خصوصی، اقدام دولت محسوب نمی‌شود؛ مگر آنکه ثابت شود دولت آن را هدایت یا کنترل می‌کرده است. در چنین وضعیتی، شرکت خاطی باید در برابر پلیس، قانون‌گذاران و نهادهای نظارتی پاسخگو باشد. مقامات استرالیا نیز در حال بررسی اقدامات قانونی و کیفری هستند و مدیر ارشد استراتژی اوپن‌ای‌آی شخصاً به سیدنی سفر کرد تا در جلسه استماع پارلمان این کشور عذرخواهی کند. اوپن‌ای‌آی اعلام کرده که دسترسی مدل‌های پژوهشی خود را به اینترنت زنده پس از یک حادثه قبلی کاملاً قطع کرده است.

شرکت‌ها برای مهار ایجنت‌های سرکش چه اقداماتی می‌توانند انجام دهند؟

بسیاری از شرکت‌ها هنوز سازوکاری برای ردیابی یا متوقف کردن یک ایجنت سرکش ندارند. تصور کنید یک ایجنت خرید هوشمند نتواند استعلام قیمت بگیرد و بدون اجازه وارد پرتال داخلی یک تأمین‌کننده شود؛ این سناریو دقیقاً همان ماجرای مدیکر اما در مقیاسی کوچک‌تر است. چند اصل بنیادی برای پیشگیری از این اتفاقات:

• برای هر ایجنت یک ناظر انسانی مشخص تعیین کنید و دسترسی‌های آن را دقیقاً به وظیفه تعریف‌شده محدود سازید.
• لاگ‌ها و گزارش‌های دقیقی نگه دارید که مشخص کند چه کسی ایجنت را فعال کرده و چه تصمیماتی گرفته است.
• پیش از آنکه ایجنت وارد سامانه خارجی جدیدی شود، تأیید یک ناظر انسانی را الزامی کنید و ایجنت‌های شرکت‌های همکار را نیز ملزم به رعایت همین استاندارد بدانید.
• اگر ایجنتی بدون مجوز وارد سیستم‌های فرد یا شرکتی دیگر شد، ظرف چند ساعت به قربانی و آژانس‌های امنیت سایبری دولتی (مانند سیسا در آمریکا) اطلاع دهید.

این گام آخر دقیقاً همان «خط تماس اضطراری» گم‌شده در دنیای هوش مصنوعی است. شرکتی که بتواند ظرف چند ساعت شفاف بگوید «این ایجنت متعلق به ما بود و این اقدامات را انجام داد»، به بازرسان پاسخی سریع می‌دهد؛ پیش از آنکه کسی دست به حمله تلافی‌جویانه بزند. اما شرکتی که سکوت کند، همه را در برزخ حدس و گمان‌های خطرناک رها خواهد کرد.

ایجنت مدیکر تنها به دنبال یک داده آماری ساده بود و برای رسیدن به آن از درهای بسته عبور کرد؛ اما ایجنت بعدی شاید به دنبال نقشه زیرساخت‌های حیاتی یک کشور باشد! اینکه چنین ماجرایی با یک عذرخواهی رسمی در پارلمان تمام شود یا به شلیک یک موشک بینجامد، شاید فقط و فقط به این بستگی داشته باشد که با چه سرعتی بتوان به یک سؤال حیاتی پاسخ داد: «این ایجنت متعلق به شماست؟»