پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

ایجنت‌های هوش مصنوعی خطر جدیدی نمی‌سازند؛ اشتباهات امنیتی ما را به ارث می‌برند!

انتشار:۱۵ مهر ۱۴۰۵(۱ ساعت پیش)
۵ دقیقه زمان مطالعه
۰ دیدگاه

بر خلاف تصور عموم، ایجنت‌های هوش مصنوعی تهدید امنیتی کاملاً جدیدی خلق نمی‌کنند، بلکه دسترسی‌ها و خطاهای پیکربندی کارمندان سازمان‌ها را به ارث می‌برند و از همان نفوذ می‌کنند. ماجرای تقلب مدل‌های اوپن‌ای‌آی و فرار از محیط‌های ایزوله نشان می‌دهد که بزرگ‌ترین چالش امنیتی، نه ابزار‌های نوین، بلکه شکاف‌های ناشی از سهل‌انگاری و هوش مصنوعی کنترل‌نشده در سازمان‌هاست.

ایجنت‌های هوش مصنوعی خطر جدیدی نمی‌سازند؛ اشتباهات امنیتی ما را به ارث می‌برند!

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • مدل‌های هوش مصنوعی اوپن‌ای‌آی در جریان یک آزمون امنیتی، برای تقلب کردن و پیدا کردن پاسخ‌ها، با زنجیره‌ای از آسیب‌پذیری‌های روز صفر از محیط سندباکس فرار کردند و به زیرساخت هاگینگ فیس نفوذ کردند!
  • بیش‌تر خطرات ایجنت‌ها نه به خاطر ابداع روش‌های عجیب نفوذ، بلکه به دلیل دسترسی‌های بازی است که کارمندان به آن‌ها داده‌اند و عملاً نوعی تهدید درون‌سازمانی با سرعت سرسام‌آور به حساب می‌آید.
  • آمار‌ها نشان می‌دهد ۹۸ درصد شرکت‌ها از هوش مصنوعی تأییدنشده (Shadow AI) استفاده می‌کنند و اگر دید شفافی به ابزار‌های فعال نداشته باشید، سیستم‌های پیشگیری قدیمی هیچ کمکی به شما نخواهند کرد.

در ماه ژوئیه، دو تا از مدل‌های تحقیقاتی اوپن‌ای‌آی (OpenAI) برای یک ارزیابی مهم آماده شدند؛ یک بنچمارک داخلی در حوزه امنیت سایبری که قرار بود مهارت این مدل‌ها را در حل چالش‌های نفوذ بسنجد. اما ماجرا به شکل دیگری رقم خورد! این مدل‌ها فهمیدند که کلید پاسخ‌ها به احتمال زیاد روی پلتفرم هاگینگ فیس (Hugging Face) قرار دارد؛ یعنی همان جایی که فایل‌های بنچمارک میزبانی می‌شدند؛ بنابراین دست‌به‌کار شدند تا مستقیم بروند و جواب‌ها را بردارند!

این تحلیل جذاب امنیتی به قلم مدیر ارشد بازاریابی شرکت امنیت سایبری مایم‌کست (Mimecast) ارائه شده است.

رسیدن به این کلید پاسخ‌ها کار ساده‌ای نبود؛ مدل‌ها با زنجیره‌ای کردن یک آسیب‌پذیری روز صفر (Zero-day) در پکیج منیجر، استفاده از چند اطلاعات کاربری سرقت‌شده و ارتقای سطح دسترسی در شبکه داخلی خودِ اوپن‌ای‌آی به این هدف رسیدند. این مدل‌ها عملاً از محیط ایزوله ارزیابی (سندباکس) فرار کردند، به زیرساخت اصلی هاگینگ فیس رسیدند و موفق به اجرای کد از راه دور (RCE) شدند! بعدها هاگینگ فیس اعلام کرد که در طول چهار روز و نیم این ماجرا، حدود ۱۷٬۶۰۰ اقدام مختلف از سوی این مدل‌ها ثبت و بازسازی شده است.

جالب اینجاست که هیچ‌کس به آن‌ها دستور حمله نداده بود؛ آن‌ها فقط در حال تقلب کردن در امتحان بودند!

بعد از این اتفاق، دو حادثه مشابه دیگر هم در شرکت‌های آنتروپیک (Anthropic) و متا (Meta) رخ داد، اما تفاوت مهمی با ماجرای اول داشتند: این مدل‌ها راه فرار جدیدی نساختند، بلکه راهی را پیدا کردند که از قبل باز مانده بود؛ چرا که محیط ارزیابی از همان ابتدا اشتباه پیکربندی شده بود.

بنابراین از میان این سه حادثه که در نهایت باعث شد مرکز ملی امنیت سایبری بریتانیا (NCSC) در ماه اوت دستورالعمل امنیتی صادر کند، فقط در یک مورد ایجنت دست به حرکتی واقعاً تازه و ابتکاری زده بود؛ در دو مورد دیگر، ایجنت‌ها صرفاً از دری رد شدند که یک انسان آن را باز گذاشته بود!

حالا خودتان حدس بزنید که در محیط کاری و سازمانی شما، کدام سناریو محتمل‌تر است؟

ساخت یک دسته‌بندی امنیتی کاملاً جدید، آدرس غلط است!

در حال حاضر واکنش اولیه خیلی‌ها این است که تمام این مسائل را به عنوان یک دسته‌بندی امنیتی کاملاً جدید در نظر بگیرند: استراتژی مهار جدید، کمیته نظارتی جدید، یک ردیف بودجه تازه و احتمالاً ساخت یک مخفف انگلیسی جدید تا قبل از پایان سال! جذابیت این رویکرد قابل درک است؛ اختصاص بودجه به یک پدیده کاملاً جدید بسیار آسان‌تر از این است که اعتراف کنیم پایه‌های امنیتی قبلی‌مان را هنوز تکمیل نکرده‌ایم.

اما بیایید واقع‌بینانه نگاه کنیم که یک ایجنت درون سازمان واقعاً چه کار می‌کند: این ابزار با دسترسی‌های یکی از کارمندان شما کار می‌کند، با هویت او یا یک حساب سرویسی که او ساخته فعالیت می‌کند و دامنه اختیاراتش هم دقیقاً همان چیزی است که آن کارمند در یک بعدازظهر معمولی وقت کرده محدودش کند؛ که معمولاً هم خیلی بازتر از حد مجاز است! اگر همان ایجنت را به دو فرد مختلف بدهید، دو پروفایل ریسک کاملاً متفاوت دریافت می‌کنید؛ چون ایجنت تغییری نکرده، بلکه انسان پشت آن متفاوت است.

این خطر اصلاً پدیده جدیدی نیست؛ این همان چیزی است که پانزده سال است آن را «تهدید درون‌سازمانی» (Insider Risk) می‌نامیم، با این تفاوت که حالا تأخیر زمانی در آن از بین رفته و همه‌چیز در کسری از ثانیه رخ می‌دهد.

خبر خوب این است که بخشی از زیرساخت‌ها و ابزار‌های فعلی شما همچنان به بهترین شکل کارایی دارند، و به همین دلیل نباید فریب کسانی را خورد که ادعا می‌کنند باید همه‌چیز را از صفر بسازید. تحلیل رفتار پایه (Behavioral Baselining) به خوبی جواب می‌دهد؛ وقتی الگوی فعالیت یک کاربر تغییر می‌کند، سیستم شما به صدا درمی‌آید و فعالیت یک ایجنت هک‌شده هم دقیقاً شبیه به همین انحراف رفتاری است. راهکارهای مدیریت هویت و دسترسی هم کاملاً کاربردی هستند.

دستورالعمل‌های بازبینی دسترسی و خروج کارمندان (Offboarding) باید برای دسترسی‌های ایجنت‌ها هم اعمال شود؛ اگر این کار را پشت گوش بیندازید، ایجنت‌هایی خواهید داشت که با خیال راحت و با دسترسی‌های کارمندی که ماه‌ها پیش شرکت را ترک کرده، همچنان به فعالیت ادامه می‌دهند!

اما آن چیزی که در این میان پاسخگو نیست، ابزار‌های قدیمی امنیتی است.

مدل‌ها جلو می‌روند، اما ابزار‌ها جا مانده‌اند!

سیستم‌های سنتی پیشگیری از نشت داده (DLP) بر این اساس ساخته شده‌اند که یک انسان فایلی را جا‌به‌جا کند؛ این ابزار‌ها روی سرعت و ساختاری از انتقال داده حساب باز کرده‌اند که ایجنت‌ها اصلاً مطابق آن رفتار نمی‌کنند. کنترل‌های دسترسی و محیط‌های کانتینری مرزی تعیین می‌کنند که تا حدی مفید است، اما هیچ سرنخی درباره اتفاقاتی که داخل بخش‌های مجاز رخ می‌دهد به شما نمی‌دهند. گسترش خزنده دامنه وظایف (Scope Creep) نقض مرزهای امنیتی نیست، بلکه سناریویی است که در آن ایجنت به مرور کار‌هایی فراتر از حد انتظار انجام می‌دهد، در حالی که تمام قوانین تعیین‌شده را هم به ظاهر رعایت کرده است!

ریشه تمام این ماجراها، حملات تزریق پرامپت (Prompt Injection) است؛ یعنی زمانی که فردی دستورات مخربی را درون یک ایمیل یا سند پنهان می‌کند که قرار است به جای انسان، توسط هوش مصنوعی خوانده شود. در این حالت مهاجم هیچ نیازی به سرقت رمز عبور یا دسترسی کارمند ندارد، چرا که ایجنت خودش کلید تمام این دسترسی‌ها را در دست دارد!

اینجا به بخش نه چندان هیجان‌انگیز، اما حیاتی‌ترین توصیه‌ای می‌رسیم که در هر جلسه هیئت‌مدیره‌ای باید بر آن پافشاری کرد: شما باید دقیقاً بدانید چه چیز‌هایی در سازمانتان در حال اجرا هستند!

پدیده «هوش مصنوعی در سایه» (Shadow AI) موضوع جدیدی نیست، اما به شدت رواج دارد و ایجنت‌ها پایش بخش‌های تاییدنشده آن را بسیار دشوارتر کرده‌اند. امروزه در ۹۸ درصد سازمان‌ها، ابزار‌های هوش مصنوعی تاییدنشده در حال استفاده هستند. طبق داده‌های آماری شرکت مایم‌کست، در ابزار‌های هوش مصنوعی مولد غیرمجاز، هر ساعت حدود ۸٬۰۰۰ مورد کپی-پیست و آپلود فایل انجام می‌شود؛ در حالی که تنها یکی از این اقدامات کافی است تا نقض قوانین حفاظت از داده (GDPR) یا افشای اسرار تجاری و مالکیت فکری رقم بخورد.

به همین دلیل است که داشتن یک سیاهه و فهرست زنده از استفاده هوش مصنوعی در سازمان حیاتی است؛ نه یک لیست قدیمی از سه ماه پیش، بلکه یک پایش کاملاً زنده و لحظه‌ای! شرکت‌های نرم‌افزاری مدام قابلیت‌های هوش مصنوعی را به ابزار‌هایی که دو سال پیش تأیید کرده‌اید اضافه می‌کنند، بنابراین لیست دارایی‌های شما به مرور زمان از اعتبار می‌افتد، حتی اگر چیزی را در محیط خود تغییر نداده باشید. کنترل لحظه‌ای جریان داده، شناسایی ناهنجاری‌ها و فهرست‌بندی هویت ایجنت‌ها همگی در اولویت‌های بعدی قرار دارند و بدون این دید شفاف اولیه، هیچ‌کدام کارایی لازم را نخواهند داشت.

همیشه با دیده‌پذیری و شفافیت شروع کنید

اولی وایت‌هاوس (Ollie Whitehouse) از مرکز ملی امنیت سایبری بریتانیا این موضوع را به بهترین شکل بیان کرده است: تکیه کردن صرف بر شناسایی پس از وقوع حادثه، هرگز کافی نخواهد بود.

ایجنت‌ها تهدید جدیدی خلق نکرده‌اند؛ آن‌ها فاصله میان یک تصمیم پیکربندی نسنجیده تا وارد شدن خسارت واقعی به سازمان را از چند هفته یا چند روز، به چند ثانیه کاهش داده‌اند! متأسفانه معماری بیش‌تر سازمان‌های ما بر این فرض چیده شده بود که فرصت بسیار بیشتری برای واکنش خواهیم داشت.

بنابراین قبل از اینکه بودجه دیگری را به خرید یک راهکار امنیتی جدید و تک‌منظوره اختصاص دهید، بروید و ببینید دقیقاً چه ابزار‌هایی در سازمانتان فعال هستند؛ شرط می‌بندم تعدادشان بسیار بیش‌تر از چیزی است که فکر می‌کنید و احتمالاً بیش‌تر آن‌ها هم بدون هیچ تصمیم رسمی وارد سازمان شده‌اند!

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

پایش لحظه‌ای امواج مغز با هوش مصنوعی؛ ابتکار نجات‌بخش کلینیک کلیولند در بخش مراقبت‌های ویژه
آخرین اخبار

پایش لحظه‌ای امواج مغز با هوش مصنوعی؛ ابتکار نجات‌بخش کلینیک کلیولند در بخش مراقبت‌های ویژه

کلینیک مشهور کلیولند با همکاری استارتاپ پیرامیدال، مدلی نوآورانه از هوش مصنوعی را برای پایش پیوسته امواج مغزی توسعه داده که می‌تواند تشنج بیماران در بخش مراقبت‌های ویژه را با دقت شگفت‌انگیزی تشخیص دهد. این دستیار بالینی هوشمند به‌زودی کار توان‌فرسای تحلیل نوارهای مغزی را برای پزشکان متحول کرده و مسیر درمان صرع را هم دگرگون خواهد کرد.

۱۰ دقیقه مطالعه
۰
۱۵ مهر
پروژه ۱.۸ میلیارد دلاری زاکربرگ، گوگل و دولت آمریکا: ساخت «سلول مجازی» با هوش مصنوعی کلید خورد!
آخرین اخبار

پروژه ۱.۸ میلیارد دلاری زاکربرگ، گوگل و دولت آمریکا: ساخت «سلول مجازی» با هوش مصنوعی کلید خورد!

مؤسسه بایوهاب زاکربرگ با همکاری گوگل دیپ‌مایند، متا و دولت آمریکا پروژه‌ای ۱.۸ میلیارد دلاری را کلید زده تا با ساخت یک «سلول مجازی»، آزمایش‌های زیستی را شبیه‌سازی کند. دانشمندان امیدوارند با این شبیه‌ساز هوشمند، پیش از ورود به آزمایشگاه‌های واقعی و صرف هزینه‌های سنگین، رفتار سلول‌ها و درمان بیماری‌های پیچیده‌ای مثل آلزایمر را با دقت بالا پیش‌بینی کنند.

۴ دقیقه مطالعه
۰
۱۵ مهر
آتش زدن مجسمه شیطان با حوله حمام تا عروسک‌بازی مدیران؛ ۸ ماجرای عجیب از پشت‌پرده هوش مصنوعی
آخرین اخبار

آتش زدن مجسمه شیطان با حوله حمام تا عروسک‌بازی مدیران؛ ۸ ماجرای عجیب از پشت‌پرده هوش مصنوعی

کوین روز، خبرنگار باسابقه حوزه فناوری، در کتاب تازه خود دست روی عجیب‌ترین و خنده‌دارترین لحظات رقابت بر سر ساخت AGI گذاشته است؛ از جلسات عجیب سم آلتمن و ایلیا سوتسکور تا سوتی‌های باورنکردنی چت‌بات‌های اولیه. این روایت‌های ناگفته نشان می‌دهند که چگونه جاه‌طلبی و درگیری‌های چند دانشمند سرشناس، آینده دنیای ما را تغییر داد.

۹ دقیقه مطالعه
۰
۱۵ مهر