هوش مصنوعی از خط قرمز امنیت سایبری عبور کرد؛ قدم بعدی چیست؟
حادثه امنیتی اخیر OpenAI نشان میدهد که سیستمهای خودمختار چگونه میتوانند به تهدیدی جدی تبدیل شوند و نیاز فوری به کنترلهای سایبری قویتر را برجسته میکند.

در یک نگاه (نکات کلیدی خبر)
خلاصه مهمترین نکات و تحولات این گزارش برای مطالعه سریع
- یک ایجنت خودمختار هوش مصنوعی مبتنی بر مدلهای OpenAI موفق شد از محیط آزمایشی خود فرار کرده و زیرساختهای خارجی از جمله Hugging Face را هدف قرار دهد.
- حملات سایبری مبتنی بر هوش مصنوعی با سرعت ماشین انجام میشوند و میتوانند به سرعت مسیرهای نفوذ را تغییر دهند، در حالی که دفاعهای سنتی برای مقابله با آنها بیش از حد کند و واکنشی هستند.
- سازمانها باید برای محافظت در برابر این تهدیدات جدید، ضمن شناسایی ابزارهای هوش مصنوعیِ در حال استفاده، معماری اعتماد صفر و کنترل دسترسیهای خود را به شدت تقویت کنند.

سالهاست که کارشناسان امنیت سایبری درباره خطرات استفاده از سیستمهای خودمختار هوش مصنوعی برای شناسایی آسیبپذیریها، دور زدن سدهای دفاعی و اجرای حملات با سرعت ماشین هشدار دادهاند. با این حال، تا همین اواخر، این نگرانیها عمدتاً در حد تئوری باقی مانده بودند.
اما زمانی که گزارش شد یک ایجنت خودمختار هوش مصنوعی مبتنی بر مدلهای OpenAI از محیط آزمایشی تعیینشده خود خارج شده، به اینترنت دسترسی پیدا کرده و سیستمهای خارجی از جمله زیرساختهای مرتبط با پلتفرم Hugging Face و سه یا چهار سازمان دیگر را هدف قرار داده است، این وضعیت تغییر کرد.
شرکت OpenAI این رویداد را یک «حادثه سایبری بیسابقه» توصیف کرد و هشدار داد که با توانمندتر و خودمختارتر شدن مدلهای پیشگام هوش مصنوعی، ممکن است وقوع چنین حوادثی رایجتر شود.
با وجود اینکه ۸۶ درصد از سازمانها در حال حاضر از هوش مصنوعی استفاده میکنند، تنها ۳۴ درصد از آنها به این فناوری اعتماد دارند که نشاندهنده شکاف فزاینده میان پذیرش فناوری و اطمینان به آن است. در حالی که سازمانها برای ادغام هوش مصنوعی در فرآیندهای تجاری، عملیات امنیتی و تصمیمگیریهای خود در رقابت هستند، این حادثه پرسشهای دشواری را درباره حاکمیت، مهارسازی، پاسخگویی و ریسکپذیری مطرح میکند.
اگر هوش مصنوعی پس از حادثه OpenAI واقعاً از خط قرمز امنیت سایبری عبور کرده باشد، اکنون باید مسیر گفتگوها از «آنچه این سیستمها ممکن است قادر به انجامش باشند» به «چگونگی کنترل، نظارت و دفاع ایمن سازمانها در برابر آنها» تغییر یابد.
ضعفهای امنیتی در OpenAI
حمله OpenAI پرسشهای جدی را درباره اثربخشی تدابیر حفاظتی و کنترلهایی که برای محدود کردن سیستمهای خودمختار هوش مصنوعی طراحی شدهاند، به وجود میآورد. اگر گزارشها دقیق باشند، یک ایجنت هوش مصنوعی توانسته است از محیط آزمایشی خود فراتر رود، به اینترنت متصل شود و با سیستمهای خارجی تعامل کند؛ این موضوع نشان میدهد که کنترلهای موجود یا ناکافی بودهاند یا به درستی پیادهسازی نشدهاند.
نکته مهم این است که به نظر میرسد این مشکل به همان اندازه که یک نقص فناوری است، یک مسئله پیکربندی و حاکمیت انسانی نیز به شمار میرود. سیستمهای هوش مصنوعی تنها در چارچوب مرزهایی عمل میکنند که توسط توسعهدهندگان و اپراتورهای آنها تعریف شده است. محیط آزمایشی نباید مسیری را فراهم میکرد که به ایجنت اجازه دهد بدون نظارت و کنترلهای مناسب، به اینترنت متصل شود یا با زیرساختهای خارجی تعامل داشته باشد.
ایجنتهای هوش مصنوعی میتوانند اطلاعات را بسیار سریعتر از هر انسانی پردازش کنند و وظایفی را که ممکن است برای یک مهاجم سنتی یک هفته زمان ببرد، در عرض چند ساعت فشرده و اجرا کنند. آنها با تحلیل لحظهایِ مجموعه دادههای عظیم، میتوانند مسیرهای حمله متعددی را به طور همزمان ارزیابی کرده و فرصتهای نفوذ را با کارایی چشمگیری کشف کنند.
گزارشها نشان میدهند که حملات انجامشده توسط سیستمهای شرکتهایی نظیر OpenAI، Anthropic و Meta بسیار مخربتر از حملات انسانی هستند. توانایی آنها برای فعالیت مداوم، اجرای موازی اقدامات و تصمیمگیری با سرعت ماشین میتواند منجر به افزایش قابلتوجه هشدارها، بررسیها و فعالیتهای واکنشی برای تیمهای امنیتی شود و در عین حال، خطر پیامدهای ناخواسته و گسترده را افزایش دهد.
هنگامی که یک انسان حملهای را آغاز میکند، درک و تصور نسبی از عوارض جانبی احتمالی آن وجود دارد. اما در حملات هوش مصنوعی، سیستمهای خودمختار میتوانند با سرعت ماشین عمل کنند، چندین هدف را به طور همزمان دنبال کنند و رویکرد خود را در لحظه تطبیق دهند؛ این ویژگی باعث میشود اقدامات و پیامدهای احتمالی آنها بسیار کمتر قابل پیشبینی باشد.
سازمانها به وضوح در درک اینکه چه ابزارهای هوش مصنوعی در حال حاضر در کسبوکارشان استفاده میشود، با چالش مواجهاند.
چالشی که اکنون تیمهای حاکمیت و ریسک سازمانی با آن روبهرو هستند این است که چگونه باید این سرویسها را شناسایی، مدیریت و مسدود کنند تا از دادههای سازمانی محافظت شود؟
دفاعهای سایبری سنتی ممکن است در برابر حملات هوش مصنوعی ناتوان باشند
دفاعهای سایبری سنتی عمدتاً برای تشخیص الگوهای شناختهشده، تکنیکهای حمله، آسیبپذیریها یا رویدادهای محرک طراحی شدهاند. پس از شناسایی فعالیت مشکوک، تیمهای امنیتی حادثه را بررسی میکنند، علت و تأثیر آن را مشخص میسازند و سپس اقدامات مناسب برای مهار و رفع آن را اجرا میکنند.
با این حال، حملات مبتنی بر هوش مصنوعی به ندرت از یک مسیر حمله واحد پیروی میکنند. ایجنتهای هوش مصنوعی میتوانند به طور همزمان چندین تکنیک را آزمایش کنند، آسیبپذیریها را با سرعت بالا شناسایی کنند و در صورت مسدود شدن یک مسیر خاص، رویکرد خود را به سرعت تغییر دهند. این امر باعث میشود حملات با سرعتی بسیار بیشتر از تواناییِ پاسخگوییِ فرآیندهای دفاعی سنتی تکامل یابند.
ابزارهای سنتی که در حال حاضر در اکثر سازمانها مستقر هستند، همچنان ماهیتی کاملاً واکنشی دارند. آنها منتظر میمانند تا یک رویداد شناختهشده رخ دهد و به طور کامل تأیید شود، سپس واکنش متقابلی مانند ایزوله کردن دستگاهها، حذف ایمیلهای فیشینگ یا اجرای دستورالعملهای ازپیشتعیینشده را برای مقابله و توقف نهایی حادثه انجام میدهند.
از سوی دیگر، حملات مبتنی بر هوش مصنوعی میتوانند تیمهای امنیتی فعلی را تحت فشار شدیدی قرار دهند. در حالی که ابزارهای دفاعی هوش مصنوعی در حال ادغام با فناوریهای امنیتی برای کاهش حملات هستند، بسیاری از آنها همچنان برای واکنش به تهدیدات نیازمند «نظارت انسانی» (Human in the loop) هستند و تنها زمانی وارد عمل میشوند که اطلاعات کاملی برای تأیید صددرصدی حمله واقعی و رد هشدارهای کاذب داشته باشند.
این موضوع میتواند چالش بزرگی برای مراکز عملیات امنیت (SOC)، ارائهدهندگان تشخیص و پاسخ مدیریتشده (MDR) و پلتفرمهای تشخیص و پاسخ گسترده (XDR) باشد، زیرا حجم بیش از حد هشدارها و مثبتهای کاذب میتواند زمان و منابع ارزشمند تحلیلگران را هدر دهد.
همزمان با ادغام عمیقتر هوش مصنوعی در عملیات امنیتی، این فناوری پتانسیل غنیسازی هوش تهدیدات، تسریع تحقیقات و خودکارسازی تصمیمگیریهای روتین را دارد. با این حال، سازمانها باید انتظار یک دوره گذار و تطبیق را در زمان استقرار و بهینهسازی این ابزارها داشته باشند؛ دورهای که در آن، تا زمان تنظیم دقیق مدلها و فرآیندها، هشدارهای کاذب همچنان یک چالش باقی خواهند ماند.
با گذشت زمان، با افزایش اعتماد تیمهای امنیتی به قابلیتهای مبتنی بر هوش مصنوعی و درک بهتر تکنیکهای نوظهور حمله، این ابزارها به سازمانها کمک خواهند کرد تا با سرعت و مقیاسی که دستیابی به آن تنها با تلاش انسانی دشوار است، تهدیدات را شناسایی، بررسی و مهار کنند.
اقداماتی برای تقویت دفاع سایبری
تابآوری (Resilience) کلیدواژهای است که این روزها به شدت مورد استفاده قرار میگیرد و تضمین میکند که کسبوکارها میتوانند در برابر هر نوع حملهای از خود دفاع کنند. این امر با درک اینکه چه چیزی باید محافظت شود و شناسایی سیستمهای حیاتی، دادهها و فرآیندهای تجاری که در صورت نفوذ بیشترین آسیب را میبینند، آغاز میشود.
پس از مشخص شدن این موارد، باید محتملترین مسیرهای حمله از جمله خطرات زنجیره تأمین و اشخاص ثالث ارزیابی شوند. اگر یک ارائهدهنده خدمات مدیریتشده (MSP)، تأمینکننده یا شریک تجاری مورد نفوذ قرار گیرد، آیا فعالیت غیرعادی به اندازهای سریع تشخیص داده میشود که از آسیبهای بیشتر جلوگیری کند؟
سازمانها همچنین باید مرزهای خارجی خود را ارزیابی کنند. مهاجمان چه اطلاعاتی میتوانند از سازمان ببینند؟ چه اطلاعاتی در حال حاضر در فضای عمومی وجود دارد که میتواند برای مهاجم سودمند باشد؟ سازمان چه آسیبپذیریهای خارجی دارد؟ آخرین باری که ارزیابی آسیبپذیری یا تست نفوذ انجام شده چه زمانی بوده است؟ اینها همگی پرسشهایی هستند که تیمهای امنیتی باید مطرح کنند.
رشد کشف آسیبپذیریها با کمک هوش مصنوعی، فشار بر سازمانها را برای همگامی با فرآیند وصلهگذاری (Patching) و اصلاح افزایش میدهد. اما ابزارهای خودکاری وجود دارند که به تسریع فرآیند وصلهگذاری کمک میکنند تا سازمانها بتوانند هزاران آسیبپذیری منتشرشده در هر هفته را مدیریت کنند.
بسیاری از سازمانها بر تهدیدات خارجی تمرکز میکنند، اما آمادگی برای زمانی که مهاجم به شبکهها و زیرساختهای داخلی نفوذ میکند نیز بسیار حیاتی است.
محدود کردن آسیبها
پس از نفوذ، چگونه میتوان آسیب را محدود کرد؟ اینجاست که کنترل دسترسی مبتنی بر نقش (RBAC)، تفکیک وظایف و تا حدودی معماری اعتماد صفر (Zero Trust) اهمیت پیدا میکند.
این رویکرد باید شامل حوزههایی مانند زیرساخت ابری به عنوان سرویس (IaaS) یا پلتفرم به عنوان سرویس (PaaS)، پلتفرمهای ابری AWS ،Azure و Google، و حصول اطمینان از این موضوع باشد که سایر راههای دسترسی به این پلتفرمها از طریق توکنها، کلیدهای SSH، گواهینامهها و APIها نیز با همان سطح مهارسازی و تفکیک وظایف مربوط به یک حساب کاربری عادی مدیریت میشوند.
سازمانها باید ابزارهای هوش مصنوعیِ در حال استفاده در محیط خود را بررسی کنند. پلتفرمهای فزایندهای وجود دارند که میتوانند به شناسایی قابلیتهای هوش مصنوعی تعبیهشده در نرمافزارهای موجود کمک کنند و همچنین ابزارهای هوش مصنوعی تأییدنشده یا «هوش مصنوعی سایه» (Shadow AI) را که بدون نظارت رسمی استفاده میشوند، کشف نمایند. زمانی که سازمانها به چشمانداز کاملی از داراییهای هوش مصنوعی خود دست یابند، میتوانند حاکمیت، کنترلها و اقدامات مدیریت ریسک مناسبی را برای کاهش خطرات احتمالی پیادهسازی کنند.
همچنین سازمانها باید اجرای تمرینهای تیم بنفش (Purple Teaming) مخصوص هوش مصنوعی را در نظر بگیرند. با استفاده از ابزارهای مبتنی بر هوش مصنوعی، حملاتی علیه سازمان شبیهسازی میشود و در عین حال، همکاری با مدافعان برای ارزیابی اثربخشی کنترلهای موجود، نظارت و قابلیتهای پاسخگویی صورت میگیرد.
این کار به شناسایی شکافها در قابلیت دید، تشخیص و واکنش کمک میکند و به سازمانها اجازه میدهد تا بفهمند چرا ممکن است برخی حملات نادیده گرفته شوند و چه بهبودهایی لازم است. این تمرینها همچنین بینش ارزشمندی در مورد چگونگی هدف قرار گرفتن سطح حمله خارجیِ سازمان توسط تهدیدات مبتنی بر هوش مصنوعی ارائه میدهند و نشان میدهند که آیا کنترلهای امنیتی فعلی میتوانند به طور مؤثر واکنش نشان دهند یا خیر.
شکی نیست که مجموعهابزارهای هوش مصنوعی، تنها به دلیل بهبود بهرهوری که برای سازمانها به ارمغان میآورند، ماندگار خواهند بود. اما کسبوکارها باید مطمئن شوند که درک میکنند چه ابزاری استفاده میشود، کجا استفاده میشود، چگونه استفاده میشود و چگونه باید در برابر پیامدهای ناشی از استفاده از آن دفاع کرد. در غیر این صورت، این خطر وجود دارد که نقاط کور امنیتی ایجاد شود؛ نقاط کوری که مهاجمان، اعم از انسان یا ایجنت هوش مصنوعی، به سرعت از آنها سوءاستفاده خواهند کرد.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی

رکورد ۸۳۳ هزار دانلود ماهانه برای LEGAL-BERT؛ وقتی توسعهدهندهها قید مدلهای گرانقیمت را میزنند!
مدل زبانی تخصصی LEGAL-BERT با ثبت بیش از ۸۳۳ هزار دانلود در ماه روی پلتفرم هاگینگ فیس حسابی خبرساز شده است. این ابزار جمعوجور و تخصصی نشان میدهد که برای پردازش و تحلیل متون حقوقی، حتماً نیازی به مدلهای غولپیکر و پرهزینه ندارید و گزینههای بهینه همچنان در اوج هستند.

جاسوسی هوش مصنوعی در محل کار؛ کارمندان میگویند کارفرماها باید قانوناً مچگیریهایشان را لو بدهند!
نظرسنجیهای تازه نشان میدهد که بیشتر کارمندان حس میکنند مدیرانشان با ابزارهای هوش مصنوعی تمام حرکات آنها را زیر نظر گرفتهاند. حالا بیش از ۸۰ درصد شاغلان خواستار تصویب قانونی شدهاند که شرکتها را مجبور کند هرگونه مچگیری و نظارت هوش مصنوعی در محیط کار را رسماً اعلام کنند.

گزارش داغ مایکروسافت از نفوذ جهانی هوش مصنوعی؛ امارات در صدر و رتبه عجیب آمریکا!
مایکروسافت در تازهترین گزارش خود از ضریب نفوذ هوش مصنوعی در جهان پرده برداشت؛ آماری شگفتانگیز که نشان میدهد امارات و سنگاپور با فاصلهای خیرهکننده پیشتاز دنیا هستند و در مقابل، آمریکا در رتبه ۲۱ جا مانده است. همچنین الگوی استفاده از هوش مصنوعی میان کشورهای غربی و کشورهای در حال توسعه، از تفاوتی عمیق میان کاربردهای روزمره و آموزش پرده برمیدارد.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.