خطر واقعی کرم‌های هوش مصنوعی برای خودروهای خودران و پهپادها؛ وقتی حملات سایبری فیزیکی می‌شوند

این روزها بیدار شدن با اخبار تازه‌ای درباره نافرمانی هوش مصنوعی و انجام کارهایی خارج از چارچوب‌های مجاز که می‌توانند بشریت را به خطر بیندازند، به اتفاقی کاملاً عادی و روزمره تبدیل شده است.

گزارش‌های اخیر اوپن‌ای‌آی و آنتروپیک درباره یاغی شدن ایجنت‌های هوش مصنوعی خودکار و بروز رفتارهای نگران‌کننده و مسئله‌ساز از سوی آن‌ها، موجی از اضطراب به راه انداخته است. از سوی دیگر، خبرهای مربوط به هماهنگی گروهی هوش مصنوعی برای اجرای حملات سایبری نیز به همان اندازه هشداردهنده به نظر می‌رسد. در این میان، پژوهش اخیر شرکت آنتروپیک حتی درباره احتمال تکثیر خودبه‌خودی مدل‌های هوش مصنوعی در گجت‌های هوشمند خانگی و روزمره، آن هم بدون نیاز به اتصال به دیتاسنترها، هشداری جدی داده است.

پس از آنکه تیم قرمز مرزی (Frontier Red Team) در شرکت آنتروپیک مشاهده کرد مدل‌های هوش مصنوعی کوچک می‌توانند در نقش «کرم‌های هوش مصنوعی» درون اندرویدباکس‌های متفرقه و فرهای هوشمند بازتولید شوند، مشخص شد که بدافزارهای مجهز به هوش مصنوعی می‌توانند به کابوس بزرگ بعدی در امنیت سایبری تبدیل شوند.

برای بررسی اینکه آیا کرم‌های هوش مصنوعی می‌توانند به سایر وسایل هوشمند روزمره، خودروهای خودران، ربات‌های انسان‌نما و پهپادها سرایت کنند یا خیر، جوزپه سریو (Giuseppe Serio)، نایب‌رئیس توسعه بازار در شرکت امنیت سایبری Upstream، ابعاد مختلف این تهدید را تحلیل کرده و توضیح می‌دهد که تولیدکنندگان دستگاه‌های هوشمند چگونه باید با این خطرات نوظهور مقابله کنند.

آیا واقعاً کرم‌های هوش مصنوعی می‌توانند دستگاه‌های متصل روزمره را به نوع جدیدی از تهدید سایبری تبدیل کنند؟

بله، این پدیده می‌تواند به یک تهدید سایبری واقعی تبدیل شود، هرچند مفهوم اولیه آن چندان تازه نیست.

کرم‌ها و بات‌نت‌ها دهه‌ها است که در دنیای فناوری حضور دارند. آنچه هوش مصنوعی تغییر می‌دهد، توانایی نرم‌افزارهای مخرب در درک محیط‌های گوناگون و انطباق با آن‌ها با حداقل دخالت انسانی است.

به‌طور سنتی، مهاجمان مجبور بودند ابزارهای خود را به‌صورت دستی بازطراحی کنند تا روی سیستم‌های مختلف کار کند. حالا هوش مصنوعی می‌تواند بخش بزرگی از این فرآیند را برعهده بگیرد؛ به این معنا که خود بدافزار نحوه کارکرد دستگاه، نرم‌افزارهای در حال اجرا و راهکارهای اجرای کد روی آن را تشخیص می‌دهد.

این قابلیت می‌تواند مقیاس‌پذیری حملات را به‌شدت افزایش دهد؛ به‌ویژه در میان میلیون‌ها دستگاه متصل به اینترنت که با سخت‌افزارها و نرم‌افزارهای کاملاً متنوعی کار می‌کنند.

البته هوش مصنوعی معجزه نمی‌کند و موانع امنیتی را به‌طور جادویی دور نمی‌زند. مهاجم همچنان برای ورود به دستگاه نیازمند یک روزنه است؛ چه از طریق یک آسیب‌پذیری نرم‌افزاری، چه رابط‌های کاربری بدون حفاظ یا پیکربندی‌های امنیتی ضعیف.

پژوهش آنتروپیک هنوز در مراحل آزمایشی قرار دارد. مدل‌های مورد استفاده کند بودند، منابع پردازشی قابل‌توجهی مصرف می‌کردند و در شرایط ساده‌سازی‌شده آزمایشگاهی ارزیابی شدند؛ بنابراین هنوز شاهد یک کرم هوش مصنوعی عملیاتی در دنیای واقعی که بین دستگاه‌ها پخش شود نبوده‌ایم.

اما مسیر و جهت این تحولات بسیار حائز اهمیت است. با تکامل این قابلیت‌ها، هکرها می‌توانند بخش اعظم کارهایی را که پیش‌تر نیازمند تخصص فنی انسان بود، خودکارسازی کنند. علاوه بر این، زمانی که چنین بدافزارهایی بدون اتکا به سرور مرکزی در میان دستگاه‌های بی‌شمار پخش شوند، شناسایی و مهار آن‌ها بسیار دشوارتر خواهد شد.

بنابراین تهدید اصلی، ابداع ناگهانی کرم‌ها نیست؛ بلکه هوش مصنوعی آن‌ها را تطبیق‌پذیرتر، گسترش‌شان را آسان‌تر و دفاع در برابرشان را به‌مراتب پیچیده‌تر می‌کند.

پژوهش آنتروپیک نشان داد مدل‌های کوچک هوش مصنوعی می‌توانند در تلویزیون‌های هوشمند تکثیر شوند. سرایت چنین حمله‌ای به ربات‌ها، خودروهای خودران یا پهپادها چقدر محتمل و واقعی است؟

این خطر روزبه‌روز واقعی‌تر می‌شود، اما باید میان آنچه آنتروپیک در آزمایشگاه نشان داد و اتفاقاتی که ممکن است در محیط‌های واقعی «هوش مصنوعی فیزیکی» رخ دهد، تمایز قائل شویم.

بخش جذاب این پژوهش، صرفاً جابه‌جایی و سرایت نرم‌افزار میان دستگاه‌ها نیست؛ زیرا سال‌ها است چنین پدیده‌ای را در بدافزارها و بات‌نت‌ها مشاهده می‌کنیم. تحول بنیادین این است که هوش مصنوعی روزبه‌روز بهتر می‌تواند خود را با محیط‌های سخت‌افزاری و نرم‌افزاری گوناگون وفق دهد، بدون اینکه کاربری مجبور باشد برای هر پلتفرم کدهای جدید بنویسد.

این موضوع به‌ویژه در حوزه هوش مصنوعی فیزیکی اهمیت دوچندان پیدا می‌کند. امروزه ربات‌ها، وسایل نقلیه متصل و پهپادها برای درک محیط، ناوبری، تصمیم‌گیری و سایر کارکردهای عملیاتی، وابستگی شدیدی به توان پردازشی داخلی خود دارند. سیستم‌های این دستگاه‌ها همگی از مدل‌های یکسانی استفاده نمی‌کنند؛ برخی مبتنی‌بر بینایی ماشین، یادگیری ماشین یا الگوریتم‌های کنترلی خاص هستند و سیستم‌های رباتیک جدیدتر حتی از مدل‌های بینایی-زبان-عمل (VLA) بهره می‌برند.

آنچه این دستگاه‌ها را برای مهاجمان جذاب می‌کند، تلفیق منابع پردازشی قدرتمند، اتصال دائم به شبکه و نقش حیاتی آن‌ها در دنیای واقعی است. با این حال، سرایت بدافزار میان این تجهیزات به‌هیچ‌وجه خودکار نیست. نفوذگر همچنان به راه نفوذ، سطح دسترسی کافی برای اجرای نرم‌افزار و کانالی برای رسیدن به دستگاه‌های دیگر نیاز دارد. میزان تحقق چنین سناریویی، کاملاً به معماری سیستم، لایه‌های امنیتی و نحوه اتصال ناوگان بستگی دارد.

برای نمونه، گروهی از ربات‌های انبارداری که از شبکه و زیرساخت مدیریتی مشترک استفاده می‌کنند، می‌توانند فرصتی طلایی در اختیار مهاجم بگذارند تا میان سیستم‌ها حرکت کند. در مقابل، در وسایل نقلیه متصل، تفکیک عملکردهای حیاتی و کنترل دقیق اجرای نرم‌افزار می‌تواند این فرآیند را به‌مراتب دشوارتر سازد.

آنتروپیک چنین حمله‌ای را روی ناوگان‌های واقعی هوش مصنوعی فیزیکی اجرا نکرده است؛ اما این پژوهش نشان می‌دهد که هوش مصنوعی چگونه می‌تواند انطباق حملات با دستگاه‌های مختلف را تسهیل کند و زحمت لازم برای نفوذ به محیط‌های گسترده‌تر و ناهمگن را کاهش دهد.

درست در همین نقطه است که خطر از یک سرقت پردازشی سنتی فراتر می‌رود. در هوش مصنوعی فیزیکی، همان منابع سخت‌افزاری که آلوده می‌شوند، وظیفه هدایت رفتارهای فیزیکی ماشین را برعهده دارند؛ بنابراین بسته به نوع معماری، یک رخنه امنیتی می‌تواند در دسترس بودن، عملکرد و در نهایت ایمنی فیزیکی دستگاه و اطرافیان آن را به خطر بیندازد.

اگر یک کرم هوش مصنوعی وارد خودروی خودران یا ربات صنعتی شود، در عمل چه اتفاقی رخ می‌دهد؟ آیا می‌تواند در تشخیص موانع، فرمان‌پذیری، ترمزگیری یا سایر عملکردهای حیاتی اختلال ایجاد کند؟

پیامدهای این اتفاق می‌تواند از افت عملکرد و توقف عملیات تا خطرات جانی و فیزیکی بسیار جدی متغیر باشد، اما همه‌چیز به نحوه طراحی سیستم وابسته است.

فعالیت یک کرم هوش مصنوعی درون ربات یا خودروی خودران می‌تواند منابع پردازشی مورد نیاز برای ادراک محیطی، برنامه‌ریزی حرکتی یا ناوبری را ببلعد. این کمبود منابع پردازشی ممکن است به کند شدن سیستم تشخیص موانع، تأخیر در تصمیم‌گیری‌های آنی یا حتی توقف کامل دستگاه منجر شود.

با وجود این، باید میان «اختلال در کارکرد ماشین» و «به دست گرفتن کنترل آن» مرز روشنی ترسیم کنیم.

وظایف حیاتی مانند فرمان‌دهی، ترمزگیری و سایر بخش‌های مرتبط با ایمنی معمولاً توسط کنترل‌کننده‌های مجزا مدیریت می‌شوند و با سازوکارهای امنیتی مازاد محافظت شده‌اند؛ بنابراین آلوده شدن بخش پردازش هوش مصنوعی لزوماً به این معنا نیست که مهاجم بلافاصله می‌تواند کنترل این بخش‌های حیاتی را به دست بگیرد.

خطر زمانی ابعاد فاجعه‌باری به خود می‌گیرد که این سیستم‌ها به‌اندازه کافی از یکدیگر تفکیک نشده باشند، یا اینکه مهاجم بتواند به رابط‌های ارتباطی میان ماژول‌های ادراک و برنامه‌ریزی با سیستم‌های کنترل فیزیکی دسترسی پیدا کند.

در این شرایط، یک آسیب‌پذیری و نفوذ سایبری می‌تواند مستقیماً به رفتارهای خطرناک و ناایمن فیزیکی در دنیای واقعی تبدیل شود.

همین تفاوت است که امنیت هوش مصنوعی فیزیکی را از امنیت سنتی فناوری اطلاعات جدا می‌کند. در اینجا دیگر فقط نگران نشت داده‌ها یا از دسترس خارج شدن سرورها نیستیم؛ بلکه مسئله حیاتی این است که یک حادثه سایبری چگونه می‌تواند بر تصمیمات و کنش‌های یک ماشین سنگین یا متحرک در دنیای واقعی اثر بگذارد.

چه نشانه‌هایی می‌تواند از پخش شدن یک کرم هوش مصنوعی در ناوگانی از دستگاه‌های متصل پرده بردارد؟ تولیدکنندگان چقدر زمان دارند تا پیش از وقوع بحران، متوجه نفوذ شوند؟

چندین زنگ خطر وجود دارد که سازندگان باید آن‌ها را زیر نظر بگیرند: انتقال غیرعادی مدل‌های بزرگ هوش مصنوعی، ترافیک شبکه‌ای مشکوک میان دستگاه‌ها، افزایش ناگهانی بار پردازنده گرافیکی (GPU)، ناهنجاری در مصرف باتری یا حرارت دستگاه، و ایجاد تأخیر در پردازش‌های مربوط به ادراک محیطی و برنامه‌ریزی حرکتی.

با این حال، مشاهده هیچ‌یک از این نشانه‌ها به‌تنهایی دلیل قطعی بر بروز حمله نیست.

برای مثال، درگیر شدن شدید تراشه گرافیکی در رباتی که وظیفه‌ای پردازشی و پیچیده را انجام می‌دهد، کاملاً طبیعی است؛ اما همین رفتار در رباتی که در گوشه‌ای پارک شده و نرم‌افزاری ناشناخته روی آن اجرا می‌شود، فوق‌العاده مشکوک خواهد بود.

به همین دلیل کارشناسان امنیت سایبری باید سه مؤلفه کلیدی را همزمان ارزیابی کنند:

• دستگاه به‌صورت انفرادی: آیا رفتار دستگاه در مقایسه با وضعیت عادی دچار تغییر شده است؟
• زمینه عملیاتی: آیا فعالیت در حال انجام با مأموریتی که در همان لحظه برعهده دستگاه گذاشته شده، همخوانی دارد؟
• کل ناوگان: آیا الگوهای غیرعادی مشابهی در چندین دستگاه همزمان دیده می‌شود که نشان‌دهنده سرایت بدافزار باشد؟

دیدگاه ناظر بر کل ناوگان از اهمیتی حیاتی برخوردار است. رخدادی که در نگاه اول روی یک دستگاه شاید یک خطای کوچک نرم‌افزاری به نظر برسد، زمانی که داده‌های آن در کنار سیگنال‌های دریافتی از صدها یا هزاران ماشین دیگر قرار گیرد، می‌تواند سندی آشکار بر وقوع یک حمله سازمان‌یافته باشد.

درباره سرعت واکنش لازم از سوی تولیدکنندگان نیز نمی‌توان نسخه واحدی پیچید؛ همه‌چیز به‌سرعت تکثیر کرم و توپولوژی ارتباطی ناوگان بستگی دارد.

در حالت ایدئال، فرآیند شناسایی باید بلادرنگ (در لحظه) و پیش از نفوذ آلودگی به سایر دستگاه‌ها انجام شود. با این حال، تشخیص تهدید تنها نیمی از ماجرا است؛ شرکت‌ها باید بدون متوقف کردن غیرضروری عملیات یا خلق خطرات ایمنی تازه، ماشین‌های آلوده را به‌سرعت تفکیک کرده و پاسخ مناسب بدهند.

به همین سبب، امنیت در حوزه هوش مصنوعی فیزیکی باید از پایش تکی دستگاه‌ها فراتر رود و به دیدی همه‌جانبه، پیوسته و هوشمندانه نسبت به رفتار هر ماشین، مأموریت‌های تعیین‌شده و رویدادهای سرتاسر ناوگان ارتقا یابد.

اگر شرکتی یک کرم هوش مصنوعی را در ناوگان دستگاه‌های متصل خود شناسایی کند، گام بعدی چیست؟ آیا می‌توان دستگاه‌های آلوده را از راه دور قرنطینه کرد، بدون اینکه ایمنی به خطر بیفتد یا عملیات روزمره متوقف شود؟

اولویت نخست، متوقف کردن روند تکثیر کرم است؛ آن هم به‌گونه‌ای که هیچ خطر جانبی جدیدی برای خود ماشین یا محیط اطرافش ایجاد نشود.

برخلاف سرورهای سنتی در دنیای آی‌تی، نمی‌توان یک ربات، خودروی در حال حرکت یا دستگاه صنعتی سنگین را در میانه انجام یک مأموریت حساس ناگهان خاموش کرد.

برای مدیریت چنین بحرانی باید یک نقشه چهار مرحله‌ای را پیاده‌سازی کرد:

• درک موقعیت: بررسی دقیق اینکه کدام دستگاه‌ها آلوده شده‌اند، در حال حاضر چه وظیفه‌ای دارند و بدافزار تا چه محدوده‌ای نفوذ کرده است. همزمان، اقدامات اولیه مهار تهدید در بخش‌های بدون ریسک آغاز شود.
• کنترل و مهار گسترش: محدودسازی کانال‌های ارتباطی میان ماشین‌های آسیب‌دیده و سایر اعضای ناوگان. این کار لزوماً به معنای قطع کامل اتصالات نیست، بلکه باید خطوط ضروری برای ادامه فعالیت ایمن دستگاه حفظ شوند.
• انتقال سیستم به وضعیت امن: بسته به نوع کاربری، ممکن است لازم باشد ربات یک حرکت کاری را تمام کند، خودرو در نقطه‌ای ایمن متوقف شود یا ماشین صنعتی فرآیند خاموشی کنترل‌شده را سپری کند.
• تأیید سلامت پیش از راه‌اندازی مجدد: اطمینان کامل از پاکسازی تهدید، معتبر بودن فایل‌های نرم‌افزاری و تنظیمات، و صحت عملکرد ماشین، پیش از آنکه دوباره به چرخه کار بازگردد.

قرنطینه و جداسازی از راه دور در بسیاری از سناریوها امکان‌پذیر است، اما چنین قابلیتی باید از همان مرحله طراحی اولیه در معماری سیستم گنجانده شده باشد. تولیدکنندگان باید دقیقاً بدانند کدام قابلیت‌ها به اینترنت متصل‌اند، کدام بخش‌ها مستقل عمل می‌کنند و ماشین در صورت قطع شدن کانال‌های ارتباطی چه واکنشی نشان خواهد داد.

دقیقاً همین‌جا است که تفاوت بنیادین امنیت هوش مصنوعی فیزیکی با فناوری اطلاعات مرسوم نمایان می‌شود. ما باید نه‌تنها بدانیم کدام ماشین‌ها آلوده شده‌اند، بلکه باید بفهمیم در همان ثانیه مشغول چه کاری هستند و هر تصمیم واکنشی از سوی ما چه عواقبی در پی خواهد داشت.

هدف صرفاً مقابله با یک حمله سایبری نیست؛ بلکه دفع حمله بدون تبدیل کردن یک «رخنه امنیتی سایبری» به یک «حادثه فیزیکی و فاجعه جانی» است.

آیا به نظر شما سازندگان تجهیزات متصل، آمادگی کافی برای مقابله با تهدیدهای خودتکثیرشونده هوش مصنوعی دارند؟ یا فکر می‌کنید صنعت با سرعتی بالاتر از توان ایمن‌سازی خود، در حال توسعه ماشین‌های خودران است؟

صنعت در مسیر درستی گام برمی‌دارد، اما هنوز شکاف عمیقی میان سرعت خیره‌کننده توسعه فناوری‌های خودران و راهکارهای حفاظت از این سامانه‌ها وجود دارد.

سطح بلوغ امنیتی در حوزه‌های مختلف بسیار نابرابر است. برای مثال، خودروسازان تحت تأثیر مقررات سخت‌گیرانه‌ای مانند استانداردهای بین‌المللی رگولاتوری خودرو (از جمله مقرره UNECE R155)، در رویکرد «امنیت در طراحی» (Secure-by-Design) پیشرفت چشمگیری داشته‌اند؛ اما در بخش رباتیک، پهپادها و سایر کاربردهای هوش مصنوعی فیزیکی، اوضاع به این شفافیت نیست و ناهماهنگی زیادی به چشم می‌خورد.

چالش بزرگ‌تر، وضعیت دستگاه‌ها پس از تحویل و ورود به میدان عمل است. ایمن‌سازی محصول هنگام خروج از خط تولید کارخانه‌ای یک مسئله است، اما رصد مداوم هزاران ماشین فعال در دنیای واقعی، کشف سریع تهدیدها و واکنش بدون مختل کردن فعالیت‌های روزمره آن‌ها، داستانی کاملاً متفاوت به شمار می‌رود.

این دقیقاً همان نقطه‌ای است که صنعت هنوز کارهای انجام‌نشده فراوانی در آن دارد. ما باید از تفکر سنتی «ایمن‌سازی پوسته دستگاه» فاصله بگیریم و به سمت «راستی‌آزمایی مداوم رفتار ماشین» حرکت کنیم؛ هم در سطح هر واحد مستقل و هم در کل شبکه ناوگان.

تصویب قوانینی چون «قانون تاب‌آوری سایبری اتحادیه اروپا» (CRA) روند این تحول را شتاب می‌بخشد. تولیدکنندگان اکنون ملزم شده‌اند آسیب‌پذیری‌های کشف‌شده و حوادث امنیتی جدی در محصولات خود را سریعاً گزارش دهند؛ امری که ضرورت نظارت پیوسته و توانایی تحقیق موشکافانه درباره حملات را دوچندان می‌کند.

انتظار می‌رود درست همان‌طور که استانداردهای خودرویی فراتر از اروپا به یک هنجار جهانی تبدیل شدند، قانون تاب‌آوری سایبری اروپا نیز رویه‌های امنیتی در سراسر جهان را تحت تأثیر قرار دهد.

بنابراین، سرعت رشد سامانه‌های خودران در برخی شاخه‌ها از قابلیت‌های دفاعی لازم برای حفاظت از آن‌ها در چرخه عمر عملیاتی‌شان پیشی گرفته است. پژوهش آنتروپیک هشداری است تا پیش از آنکه این تهدیدها به بحرانی واقعی و مرگبار تبدیل شوند، این شکاف امنیتی را پر کنیم.