«نمی‌توانید آنچه را نمی‌بینید کنترل کنید»: هشدار متخصص امنیت سایبری درباره خطرات هوش مصنوعی

خواندن گزارش‌هایی درباره فرار مدل‌های هوش مصنوعی از محیط‌های سندباکس (Sandbox) اختصاصی خود و درگیر شدن آن‌ها در حوادث هک، بسیار تامل‌برانگیز است.

دو مورد از جدیدترین نمونه‌های این اتفاق، شامل حادثه OpenAI و Hugging Face، و همچنین دسترسی Google Gemini به اینترنت برای به دست آوردن اطلاعات هویتی مورد نیاز جهت هک سه وب‌سایت در جریان یک آزمایش امنیت سایبری است؛ آزمایشی که توسط یک شرکت ارزیابی مستقل انجام شد. حتی مدل‌های Claude از شرکت Anthropic نیز در هکی که سیستم‌های OpenAI را هدف قرار داده بود، نقش داشتند؛ هرچند خوشبختانه این وضعیت بیشتر یک رویداد اخلاقی بود که توسط یک تیم سه‌نفره از Hacktron AI اجرا شد.

با توجه به مشکلات متعدد مرتبط با ابزارهای هوش مصنوعی (که دور زدن سازوکارهای ایمنی، دسترسی به اطلاعات غیرمجاز و مشارکت در حملات سایبری پیچیده از مهم‌ترین آن‌ها هستند)، نگرانی‌های عموم مردم و متخصصان کاملاً موجه است.

تی‌جی مارلین (T.J. Marlin)، مدیرعامل Guardrail Technologies و مدیر سابق فناوری و نوآوری در EY Global، در گفتگویی به بیان دیدگاه‌های خود درباره دور زدن کنترل‌های اولیه توسط ایجنت‌های هوش مصنوعی، نشت داده‌ها از طریق استفاده کارکنان، خطرات مرتبط با دیتاسنترهای متمرکز و موارد دیگر پرداخته است.

به نظر شما بزرگ‌ترین تهدید امنیتی هوش مصنوعی که در حال حاضر توسط مردم و کسب‌وکارها دست‌کم گرفته می‌شود چیست و چرا؟

هوش مصنوعی در حال تبدیل شدن به یک بازیگر فعال در محیط‌های دیجیتال ماست، در حالی که بیشتر سیستم‌های امنیت سایبری هنوز برای دفاع در برابر مهاجمان انسانی از خارج طراحی شده‌اند. اگر به یک ایجنت اعتبارنامه‌های قانونی بدهید، فعالیت آن ممکن است شبیه به یک کاربر مجاز باشد که کارهای مجازی را با اهداف نادرست انجام می‌دهد. تأیید هویت دیگر کافی نیست. مسئله اصلی این است که هوش مصنوعی با دسترسی خود چه می‌کند و آیا باید اجازه اقدام بعدی به آن داده شود یا خیر.

سیستم‌های هوش مصنوعی به‌طور فزاینده‌ای راه‌هایی برای دور زدن سازوکارهای ایمنی دیجیتال و دسترسی به اطلاعات غیرمجاز پیدا می‌کنند. فکر می‌کنید چرا این اتفاق می‌افتد و چقدر باید نگران این موضوع بود؟

ما به‌طور هم‌زمان به هوش مصنوعی قابلیت‌های تحلیلی، ابزارها و دسترسی داده‌ایم. نرم‌افزارهای سنتی دستورالعمل‌ها را اجرا می‌کنند، در حالی که هوش مصنوعی اهداف را تفسیر کرده و راهکارهای دستیابی به آن‌ها را پیدا می‌کند؛ بنابراین اگر یک مسیر مسدود شود، یک ایجنت توانمند ممکن است مسیر دیگری را کشف کند. محققان استخراج داده‌ها از طریق استفاده از ابزارهای ایجنت را اثبات کرده‌اند، و خود OpenAI نیز به دفاع در برابر حملاتی اشاره کرده است که در آن‌ها محتوای مخرب تلاش می‌کند یک ایجنت را وادار به ارسال اطلاعات حساس از طریق یک لینک کند.

اشتباه این است که تصور کنیم سازوکارهای ایمنی در نقطه ورود، تمام اقدامات بعدی هوش مصنوعی را کنترل می‌کنند. کنترل‌ها باید پیرامون خود عمل باشند؛ همراه با نظارت مستمر بر آنچه ایجنت‌ها به آن دسترسی پیدا می‌کنند و قابلیت مداخله انسان پیش از تکمیل یک اقدام ناایمن.

جیکوب کاکسون، محقق سابق Anthropic و OpenAI، هشدار آخرالزمانی داده و گفته است: «هوش مصنوعی پتانسیل نابودی همه ما را دارد و ممکن است زمان برای جلوگیری از این پیامد در حال اتمام باشد.» نظر شما درباره صحبت‌های او چیست؟

نمی‌توان ادعا کرد که کسی می‌تواند با اطمینان، احتمالی برای انقراض بشر توسط هوش مصنوعی تعیین کند. اختلاف‌نظرهای اساسی میان محققان برجسته در این زمینه وجود دارد. هشدار کاکسون بازتاب‌دهنده یک نگرانی واقعی است: اینکه توانمندی‌های هوش مصنوعی ممکن است سریع‌تر از توانایی ما برای درک، محدودسازی و نظارت بر سیستم‌های خودمختار پیشرفت کند. مسئله فوری‌تر این است که وقتی هوش مصنوعیِ خودمختار به سیستم‌هایی متصل می‌شود که توانایی ایجاد آسیب در دنیای واقعی را دارند (مانند بازارهای مالی، سیستم‌های درمانی، دفاعی، انرژی و زیرساخت‌های حیاتی)، چه اتفاقی خواهد افتاد.

برای توجیه انجام اقدامات پیشگیرانه، نیازی به اثبات سناریوی انقراض نداریم. اگر یک سیستم هوش مصنوعی بتواند به‌طور مستقل آسیب‌پذیری‌ها را کشف کند، اطلاعات هویتی را به دست آورد یا کنترل‌ها را دور بزند، اقدام مسئولانه این است که همین حالا زیرساخت‌های نظارت، مهار و مداخله را ایجاد کنیم؛ و در این حین، می‌توان بدترین سناریوها را به‌عنوان یک سؤال بی‌پاسخ در نظر گرفت.

مجرمان چگونه از هوش مصنوعی برای پیچیده‌تر کردن حملات سایبری خود استفاده می‌کنند؟ انتظار دارید چه نوع حملات سایبری در چند سال آینده رایج‌تر شوند؟

هوش مصنوعی اقتصاد جرایم سایبری را تغییر داده است. کارهایی که در گذشته نیازمند تیم‌هایی از اپراتورها برای شناسایی، فیشینگ، توسعه بدافزار و جعل هویت بود، اکنون به‌صورت خودکار و با سرعت ماشین انجام می‌شود. شرکت Anthropic گزارش داده است که بازیگران مخرب با استفاده از ایجنت‌های هوش مصنوعی کمپین‌های چندقربانی را اجرا می‌کنند که پیش‌تر نیازمند چندین تیم بود. همچنین، Google مواردی از شناسایی، فیشینگ و توسعه بدافزار با کمک هوش مصنوعی را مستند کرده است.

انتظار می‌رود سه حوزه با شتاب بیشتری روبه‌رو شوند: مهندسی اجتماعی فوق‌شخصی‌سازی‌شده در قالب ایمیل، پیامک، صدا و ویدیو؛ کشف و بهره‌برداری خودمختار از آسیب‌پذیری‌ها؛ و حملاتی با سرعت ماشین که سایر سیستم‌های هوش مصنوعی را هدف قرار می‌دهند. هوش مصنوعی حملاتی را که پیش‌تر پرهزینه و نیازمند نیروی کار فراوان بودند، به عملیات‌های ارزان، مداوم و گسترده و موازی تبدیل می‌کند.

هوش مصنوعی در حال حاضر بیش‌ازپیش وارد محیط‌های کاری می‌شود. وقتی کارکنان بدون درک کامل از نحوه مدیریت داده‌هایشان از ابزارهای هوش مصنوعی استفاده می‌کنند، شرکت‌ها با چه خطرات بزرگی مواجه می‌شوند؟

بزرگ‌ترین مشکل، جابه‌جایی نامرئی داده‌ها است. کارمندان قراردادها، سورس‌کدها و سوابق مشتریان را در ابزارهای هوش مصنوعی کپی می‌کنند، زیرا رابط کاربری این ابزارها حس یک گفتگوی خصوصی را القا می‌کند؛ در حالی که از نگاه شرکت، این اطلاعات مرزهای سازمانی را رد کرده‌اند. شرکت Microsoft اکنون قابلیت شناسایی «هوش مصنوعی در سایه» (Shadow AI) را دقیقاً به این دلیل ارائه می‌دهد که برنامه‌های تاییدنشده خطر نشت داده‌ها را به همراه دارند. ایجنت‌ها این مشکل را حادتر می‌کنند، زیرا یک سیستم هوش مصنوعی ممکن است خودش مجوز استخراج اطلاعات محرمانه را داشته باشد.

شرکت‌ها باید نظارت شفافی داشته باشند که کارکنان از کدام ابزارهای هوش مصنوعی استفاده می‌کنند، چه اطلاعاتی وارد آن‌ها می‌شود، این اطلاعات به کجا می‌رود، کدام مدل‌ها و اشخاص ثالث درگیر هستند و چه اقداماتی در پی آن انجام می‌شود. مسدود کردن هوش مصنوعی راه‌حل مناسبی نیست. شما نمی‌توانید آنچه را که نمی‌بینید، کنترل کنید.

با توجه به اینکه ایجنت‌های هوش مصنوعی توانایی بیشتری برای انجام اقدامات به نمایندگی از ما پیدا می‌کنند و صرفاً به پاسخ دادن به سؤالات محدود نمی‌شوند، چه خطرات امنیتی و حریم خصوصی جدیدی را پیش‌بینی می‌کنید؟

یک چت‌بات ممکن است پاسخ اشتباهی به شما بدهد. اما یک ایجنت می‌تواند همان پاسخ اشتباه را اجرا کند؛ ایمیلی بفرستد، پایگاه داده را تغییر دهد، یک فرآیند کاری را تأیید کند یا تراکنشی را آغاز نماید. خطر خطای هوش مصنوعی دیگر فقط یک پاسخ غلط روی نمایشگر نیست؛ بلکه شامل تمام سیستم‌ها، مجوزها و داده‌هایی می‌شود که ایجنت به آن‌ها دسترسی دارد. امنیت هوش مصنوعی باید بیشتر شبیه کنترل ترافیک هوایی باشد تا نرم‌افزار آنتی‌ویروس: هر ایجنت باید شناسایی شود، مجوزهایش مشخص باشد، رفتارش تحت نظارت قرار گیرد و هرگاه ریسک از حد مشخصی گذشت، تأیید انسانی الزامی باشد.

سازمان‌ها همچنین به یک مکانیسم توقف اضطراری (Kill Switch) واقعی نیاز دارند. هر کسب‌وکاری باید بتواند به این سؤال پاسخ دهد: اگر این ایجنت ساعت ۲ بامداد شروع به رفتار مخرب کرد، آیا می‌توانیم آن را ببینیم و متوقف کنیم؟ در حال حاضر، سازمان‌های بسیار زیادی قادر به انجام این کار نیستند.

به نظر شما بزرگ‌ترین خطر دیتاسنترها که در اثر رونق هوش مصنوعی ایجاد شده و در حال حاضر توجه کافی به آن نمی‌شود، چیست؟

ما در حال متمرکز کردن بخش عظیمی از توان پردازشی جهان، داده‌های حساس و هوش مصنوعی خودمختار در تعداد کمی از تاسیسات بسیار ارزشمند هستیم. این موضوع، دیتاسنترها را به دارایی‌ها و اهداف استراتژیک تبدیل می‌کند. مسئله‌ای که به اندازه کافی مورد توجه قرار نگرفته، همین «تمرکز» است: زیرساخت‌های برق، پردازنده‌های گرافیکی (GPU)، فرم‌ورها، کنترل‌پِلین‌های ابری و زنجیره‌های تأمین به‌شدت به هم متصل هستند و دولت‌ها پیش از این، تقاضای برق ناشی از هوش مصنوعی را به نگرانی‌های مربوط به حملات سایبری در سیستم‌های کلان برق مرتبط کرده‌اند.

یک تاسیسات هوش مصنوعی همچنین شامل سیستم‌هایی است که می‌توانند به‌طور مستقل آسیب‌پذیری‌ها را کشف کرده و نرم‌افزار بنویسند. دیتاسنتر هوش مصنوعی، ترکیبی از نیروگاه برق، ابررایانه و نیروی کار خودمختار است؛ و معماری امنیتی ما باید متناسب با هر سه این ابعاد طراحی شود.