پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

بی‌خیال آخرالزمان هوش مصنوعی؛ خطر واقعی تنبلی ما در رعایت امنیت پایه است!

انتشار:۹ مهر ۱۴۰۵(۴۵ دقیقه پیش)
۵ دقیقه زمان مطالعه
۰ دیدگاه

در حالی که خبرهای هولناک از نفوذ خودسرانه ایجنت‌های هوش مصنوعی سرتیتر رسانه‌ها شده، متخصصان ارشد امنیت سایبری در کنفرانس HumanX یادآور می‌شوند که بزرگ‌ترین تهدید نه هوش ماشین‌ها، بلکه تنبلی خودمان در رعایت اصول پایه امنیت است. به گفته این کارشناسان، شرکت‌ها به جای وحشت از سناریوهای تخیلی آخرالزمانی، باید روی بستن رخنه‌های پیش‌پاافتاده، فعال‌سازی احراز هویت چندمرحله‌ای و کنترل دسترسی ایجنت‌ها تمرکز کنند.

بی‌خیال آخرالزمان هوش مصنوعی؛ خطر واقعی تنبلی ما در رعایت امنیت پایه است!

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • کارشناسان امنیت در کنفرانس HumanX هشدار دادند که ترس از شورش هوش مصنوعی و نابودی بشر فعلاً بیش‌تر شبیه فیلم‌های علمی‌تخیلی است و خطر واقعی، خطاهای انسانی و غفلت از اصول اولیه است.
  • اعطای دسترسی‌های بیش‌ازحد به ایجنت‌ها و ترفندهای عجیبی مثل اتصال ایجنت‌های سازمان به اکانت شخصی تلگرام برای دورکاری، رخنه‌های امنیتی خطرناکی به وجود آورده است.
  • رواج تب و تاب vibe coding و کدهای پر از نشتی در کنار تکرار اشتباهات قدیمی توسط شرکت‌ها باعث شده متخصصان امنیت مطمئن باشند کار و بارشان به این زودی‌ها کساد نخواهد شد!

تیترهای رنگارنگ و جنجالی این روز‌ها درباره ایجنت‌های هوش مصنوعی که خودسرانه به سیستم‌ها و رایانه‌ها رخنه می‌کنند، شاید این حس را به شما بدهد که وقتش رسیده حسابی نگران خیزش ایجنت‌های تهاجمی شوید؛ یا دست‌کم از این بترسید که هوش مصنوعی نکند روزی به زندگی بشر پایان دهد!

با این حال، سه تن از کارشناسان برجسته امنیت سایبری اصلاً این حرف‌ها را قبول ندارند. در پنل تخصصی که در جریان کنفرانس هوش مصنوعی HumanX در آمستردام برگزار شد، این کارشناسان تأکید کردند که بزرگ‌ترین خطر امنیتی فعلی نه هوش مصنوعی، بلکه همان «هوش ارگانیک» یعنی انسان‌های جایزالخطایی هستند که هنوز یاد نگرفته‌اند جوانب کار را درست بسنجند و اصول پایه را رعایت کنند.

دایانا کلی (مدیر ارشد امنیت اطلاعات در Noma Security) در این باره گفت: «اگر نگران این هستید که اربابان رباتیک به ابرهوش برسند و تصمیم بگیرند همه ما را به عنوان سوخت بسوزانند، خیالتان راحت باشد که در حال حاضر این سناریو بیش‌تر به داستان‌های علمی‌تخیلی شبیه است تا واقعیت علمی.»

او در ادامه افزود: «ما داریم به این نرم‌افزارها اختیارات، دسترسی‌ها و توانمندی‌های فوق‌العاده بالایی برای اقدام و تصمیم‌گیری می‌دهیم. بنابراین باید کنترل‌ها و چارچوب‌های دقیقی دور این سیستم‌ها ایجاد کنیم؛ کاری که در حال حاضر اصلاً به خوبی از پس آن برنمی‌آییم.»

اریک دور (مدیر ارشد محصول در شرکت Tenable) نیز با تأیید این موضوع گفت خطراتی که میان مشتریان خود می‌بیند، خیلی پیش‌پاافتاده‌تر و کم‌هیجان‌تر از سناریوی شورش ایجنت‌های هوش مصنوعی روی سیستم‌ها است. او توضیح داد: «در یک سوی ماجرا، مشتریانی داریم که حتی احراز هویت چندمرحله‌ای (MFA) را هم در سازمانشان فعال نکرده‌اند! این افراد اصلاً نباید نگران حمله هوش مصنوعی باشند؛ اولین کارشان باید این باشد که بروند و MFA را روشن کنند.» (توصیه‌ای کاملاً درست که اگر شما هم تا به حال انجام نداده‌اید، باید فوراً سراغش بروید!)

او در ادامه گفت: «در سوی دیگر، متخصصان و سازمان‌های فوق‌العاده پیشرفته‌ای را می‌بینید که با وجود مهارت بالا، به شکلی بیش‌ازحد دست‌ودلبازانه به هوش مصنوعی اجازه می‌دهند آزادانه در کل سازمانشان بچرخد و به همه چیز سرک بکشد.»

مادلین لارنس (هم‌بنیان‌گذار Aikido) هم دیدگاه مشابهی درباره بازگشت به اصول اولیه دارد: «چیزی که سازمان شما را به دردسر می‌اندازد، مسیرها و روش‌های حمله عجیب و غریب جدید نیست؛ بلکه دقیقاً همان بخش‌های خراب، کسل‌کننده و پیش‌پاافتاده‌ای است که خودتان هم می‌دانید ایراد دارند و باید سال‌ها پیش درستشان می‌کردید!»

جالب است بدانید برخی از ماجراهای پرسروصدای نفوذ ایجنت‌های هوش مصنوعی به سیستم‌های دیگر، در واقع حاصل سوءاستفاده از همان حفره‌هایی بوده که هر هکر انسانی با مهارت متوسط هم می‌توانست به راحتی از آنها عبور کند. برای نمونه، در یک آزمون امنیتی که روندش به هم ریخت، مدل Gemini گوگل توانست یک رمز عبور ساده را به درستی حدس بزند! خلاصه کلام این است: حملات قدیمی و امتحان‌پس‌داده همچنان در برابر دیوارهای دفاعی توخالی و ضعیف به راحتی جواب می‌دهند.

اریک دور خاطرنشان کرد از آنجا که هوش مصنوعی سرعت و گستره حملات سایبری را چند برابر کرده، باورها و فرضیات امنیتی قدیمی دیگر جوابگو نیستند: «استراتژی امنیتی بخش زیادی از شرکت‌ها تا به حال فقط این بوده که "بد‌ترین نباشند و گلیم خود را از آب بیرون بکشند"! اما حالا همه باید استانداردهای بازی خود را حسابی بالا ببرند.»

دایانا کلی یادآور شد که دادن اختیارات و آزادی عمل بیش‌ازحد به ایجنت‌های هوش مصنوعی، نسخه مدرنی از خطای قدیمی «مأمور گمراه» (Confused Deputy Problem) را پدید آورده است؛ یعنی همان رخنه‌ای که در آن، مهاجم یک نرم‌افزار معتبر را فریب می‌دهد تا دسترسی‌های غیرمجاز را برایش باز کند. کلی گفت: «به این ایجنت‌های هوش مصنوعی دسترسی‌های بیش‌ازحد داده می‌شود.» او سپس به پژوهشی از Noma اشاره کرد که نشان می‌داد چگونه جریان‌های کاری خودکار و ایجنتی در گیت‌هاب (GitHub) می‌توانند فریب بخورند و مخازن کد محرمانه شرکت‌ها را لو بدهند.

مادلین لارنس هم در تأیید این موضوع اضافه کرد که مدام پست‌هایی نگران‌کننده درباره کاربردهای عجیب Instinct می‌بیند؛ دستیار هوش مصنوعی جدیدی که هنوز در نسخه بتای خصوصی قرار دارد و حسابی دل شیفتگان هوش مصنوعی را برده است. این ابزار دقیقاً مثل مدل Muse از متا و پروژه تازه معرفی‌شده dots از اوپن‌ای‌آی، می‌تواند به نمایندگی از کاربر دست به اقدام بزند. در یکی از مثال‌های عجیبی که لارنس تعریف کرد، ایجنت Instinct یک کاربر رفته و از ایجنت Instinct کاربر دیگر رمز عبور نتفلیکس را تقاضا کرده بود!

لارنس گفت: «مردم عاشق این هستند که مدام از ابزار‌های جذاب و ترند روز مثل Instinct حرف بزنند؛ اما در واقع همه این‌ها همان ساختار قدیمی هستند که فقط بنزین بیشتری رویشان ریخته‌اند و با یک برندینگ فریبنده و خوش آب‌ورنگ بسته‌بندی شده‌اند!»

اریک دور هم نمونه‌ای عجیب و ناخوشایند از «فناوری اطلاعات در سایه» (Shadow IT) در یکی از شرکت‌های مشتری تعریف کرد؛ جایی که اسکنرهای Tenable متوجه نصب مخفیانه و غیرمجاز یک ایجنت به نام OpenClaw شدند: «ماجرا جالب‌تر هم می‌شود: این ایجنت را پیمانکاری نصب کرده بود که برای کار روی سورس‌کد شرکت استخدام شده بود! از آنجا که این پیمانکار خیلی دلش می‌خواست از خانه دورکاری کند، ایجنت را به اکانت تلگرام شخصی‌اش متصل کرده بود تا بتواند سیستم را از راه دور کنترل کند!» اما اتصال این پیام‌رسان باعث شده بود «تمام فیلترها و پروتکل‌های امنیتی سازمانی که تصورش را بکنید به راحتی دور زده شوند.»

دور این اتفاق را نوعی ناهماهنگی و خطای انسانی در به‌کارگیری فناوری دانست: «این اتفاقات هر روز دارد می‌افتد؛ چون افراد و شرکت‌ها برای رسیدن به بهره‌وری وسوسه‌انگیز هوش مصنوعی که واقعاً هم وجود دارد، مسابقه گذاشته‌اند، بدون اینکه زحمت پیاده‌سازی چارچوب‌ها و کنترل‌های امنیتی درست را به خودشان بدهند.»

لارنس با لحنی کنایه‌آمیز، سم آلتمن (مدیرعامل OpenAI) و داریو آمودی (مدیرعامل شرکت Anthropic) را «بهترین مدیران بازاریابی تاریخ برای شرکت‌های امنیتی» نامید و گفت فضاسازی‌های آنها باعث شده مدیران سایر شرکت‌ها تازه دست به جیب شوند و پول بیشتری پای امنیت سایبری بریزند!

البته هوش مصنوعی می‌تواند با کشف سریع‌تر آسیب‌پذیری‌ها نسبت به انسان، امنیت سیستم‌ها را تقویت کند؛ موضوعی که گزارش اخیر گروه اطلاعات تهدیدات گوگل نیز آن را تأیید کرده است. با این وجود، مدیران حاضر در پنل این ادعا را که هوش مصنوعی در نهایت منجر به تولید نرم‌افزارهای کاملاً بی‌نقص و بدون باگ می‌شود، با خنده رد کردند.

دایانا کلی تأکید کرد که هوش مصنوعی با داغ کردن پدیده vibe coding عملاً دارد وضعیت امنیت را خراب‌تر هم می‌کند؛ چون به تولید نرم‌افزارهای پر از رخنه و نشتی منجر می‌شود: «اصلاً تا حالا کدهایی را که با روش vibe coding نوشته شده‌اند بررسی کرده‌اید؟ درون این کدها بی‌شمار آسیب‌پذیری امنیتی جا خوش کرده است!»

در پایان، اریک دور با لحنی شوخ‌طبعانه گفت: «واقعاً خیلی خوشحال می‌شدم اگر امنیت شغلی‌ام به خطر می‌افتاد و هوش مصنوعی تمام این دردسرها و باگ‌ها را حل می‌کرد!» اما با توجه به سیل پایان‌ناپذیر نرم‌افزارهای جدید با رخنه‌های تازه و شرکت‌هایی که مدام همان اشتباهات قدیمی را تکرار می‌کنند، به نظر نمی‌رسید او نگران بی‌کار شدنش باشد: «خیالم راحت است که کار و بار ما تا مدت‌ها حسابی سکه خواهد بود!»

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

شاهکار هوش مصنوعی ERA گوگل؛ شکست ۳۹ تیم در چالش پیش‌بینی آنفلوآنزا برای CDC
آخرین اخبار

شاهکار هوش مصنوعی ERA گوگل؛ شکست ۳۹ تیم در چالش پیش‌بینی آنفلوآنزا برای CDC

سیستم هوش مصنوعی ERA گوگل با تکیه بر تولید و آزمایش خودکار کدهای علمی، موفق شد در ارزیابی فصلی سازمان CDC آمریکا رتبه نخست پیش‌بینی بستری‌های آنفلوآنزا را میان ۳۹ تیم مدعی کسب کند. این مدل که صفر تا صد الگوریتم‌هایش با جست‌وجوی درختی توسط هوش مصنوعی بهینه‌سازی شده، قدرت خیره‌کننده کدنویسی هوشمند در حل مسائل پیچیده همه‌گیرشناسی را به نمایش می‌گذارد.

۴ دقیقه مطالعه
۰
۹ مهر
تکیه‌کلام‌هایی که دست هوش مصنوعی را رو می‌کنند؛ افشای تیک‌های نگارشی Opus 5.5 و مدل‌های پیشرو
آخرین اخبار

تکیه‌کلام‌هایی که دست هوش مصنوعی را رو می‌کنند؛ افشای تیک‌های نگارشی Opus 5.5 و مدل‌های پیشرو

پژوهش جدید شرکت گرافیت نشان می‌دهد مدل‌های هوش مصنوعی با وجود پیشرفت چشمگیر، هنوز تکیه‌کلام‌ها و ساختارهای نگارشی تکراری دارند که دستشان را رو می‌کند. از علاقه افراطی مدل Opus 5.5 به تکرار عبارت «این موضوع اهمیت دارد» تا ترفندهای مدل‌های OpenAI، هر نسخه با الگوهای منحصربه‌فردی نوشته‌های ماشینی را لو می‌دهد.

۴ دقیقه مطالعه
۰
۹ مهر
اخراج جنجالی ۳ محقق اوپن‌ای‌آی؛ پای درز اطلاعات حساس در میان است!
آخرین اخبار

اخراج جنجالی ۳ محقق اوپن‌ای‌آی؛ پای درز اطلاعات حساس در میان است!

اوپن‌ای‌آی از اخراج سه پژوهشگر خود به دلیل نقض سیاست‌های امنیتی و مدیریت نادرست اطلاعات حساس خبر داد. این اخراج‌های غیرمنتظره در حالی رخ می‌دهد که فشارهای بیرونی بر سر پروتکل‌های ایمنی این غول هوش مصنوعی به بالا‌ترین حد خود رسیده است.

۲ دقیقه مطالعه
۰
۹ مهر