پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

پلتفرم امنیتی جدید انویدیا برای مهار ایجنت‌ها؛ جلوی خرابکاری و فرار هوش مصنوعی گرفته می‌شود!

انتشار:۶ مهر ۱۴۰۵(۸ ساعت پیش)
۳ دقیقه زمان مطالعه
۰ دیدگاه

انویدیا پلتفرم نرم‌افزاری جدیدی برای مهار ایجنت‌های هوش مصنوعی معرفی کرده تا مانع از خروج آن‌ها از محیط‌های آزمایشی و دسترسی غیرمجاز به اینترنت شود. این غول تراشه‌سازی مدعی است پلتفرم جدیدش حتی می‌توانست جلوی حمله جنجالی هزاران ایجنت اوپن‌ای‌آی به پلتفرم هاگینگ فیس را هم به‌خوبی بگیرد.

پلتفرم امنیتی جدید انویدیا برای مهار ایجنت‌ها؛ جلوی خرابکاری و فرار هوش مصنوعی گرفته می‌شود!

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • انویدیا پلتفرم نرم‌افزاری متن‌بازی به نام Open Agent Safety رو رونمایی کرده تا جلوی شورش و فرار ایجنت‌های هوش مصنوعی از محیط‌های امنیتی (Sandboxes) رو بگیره.
  • به گفته انویدیا، این ابزار جدید می‌تونست جلوی حمله معروف بیش از ۱۷ هزار ایجنت اوپن‌ای‌آی به سرورهای هاگینگ فیس رو بگیره و مانع خرابکاری بشه.
  • در حالی که غول‌هایی مثل داریو آمودی و سم آلتمن نگران از دست رفتن کنترل هوش مصنوعی بودن، جنسن هوانگ معتقده امنیت ایجنت‌ها یک چالش مهندسیه و با راهکارهای فنی مثل OpenShell و تراشه‌های شبکه حل میشه.

سخنرانی جنسن هوانگ، مدیرعامل انویدیا در کنفرانس Dreamforce شرکت سلزفورس در سان‌فرانسیسکو.

تصویر: بنجامین فنجوی | گتی ایمیجز

انویدیا در حال عرضه یک پلتفرم نرم‌افزاری جدید است تا به توسعه‌دهندگان هوش مصنوعی اجازه دهد برای ایجنت‌ها دیوارهای محافظتی تعیین کنند و جلوی خروج و نفوذ آن‌ها از محیط‌های امن یا سندباکس را بگیرند.

عرضه پلتفرم متن‌باز امنیت ایجنت‌های انویدیا موسوم به Open Agent Safety درست پس از آن اتفاق می‌افتد که شرکت‌های بزرگی مثل اوپن‌ای‌آی، آنتروپیک، متا و گوگل خبر از حوادث نگران‌کننده‌ای دادند؛ ماجراهایی که در آن مدل‌های هوش مصنوعی توانستند از قرنطینه نرم‌افزاری خود فرار کنند و برای هک کردن شرکت‌های دیگر و نفوذ به سیستم‌های کامپیوتری تلاش نمایند.

نماینده انویدیا در گفتگو با خبرنگاران اعلام کرد که پلتفرم جدید این شرکت می‌توانست به‌راحتی مانع حادثه جنجالی ماه ژوئیه اوپن‌ای‌آی در هاگینگ فیس شود؛ حادثه‌ای که طی آن مدل‌های اوپن‌ای‌آی از محیط ایزوله خارج شدند، به اینترنت باز دسترسی پیدا کردند و ساختار هاگینگ فیس را که یک پلتفرم متن‌باز توسعه هوش مصنوعی است هدف نفوذ قرار دادند.

جاستین بایتانو، معاون بخش هوش مصنوعی سازمانی انویدیا که ارزشمندترین شرکت جهان به شمار می‌رود، در این رابطه گفت: «هر حادثه امنیتی ماهیت خاص خودش را دارد و ما باید همه آن‌ها را با جزئیات دقیق بررسی کنیم. تا جایی که می‌دانیم، هاگینگ فیس گزارش داده بود که بیش از ۱۷ هزار ایجنت به زیرساخت‌هایش هجوم بردند؛ حمله‌ای که چندین روز و هفته مداوم طول کشید.»

از زمان راه‌اندازی ChatGPT نزدیک به چهار سال پیش، انویدیا همواره در قلب تب‌وتاب هوش مصنوعی مولد حضور داشته است؛ چرا که پردازنده‌های گرافیکی این شرکت نقشی حیاتی در آموزش و توسعه مدل‌های زبانی بزرگ و ارائه سرویس‌های هوش مصنوعی توسط غول‌های ابری ایفا می‌کنند. با این حال، جنسن هوانگ، مدیرعامل پرانرژی انویدیا، اخیراً به صدایی کلیدی در بحث‌های پیرامون ایمنی هوش مصنوعی تبدیل شده و تاکید دارد که بسیاری از این نگرانی‌های امنیتی در واقع چالش‌های مهندسی هستند و می‌توان با تکیه بر علم کامپیوتر و توسعه درست محصول آن‌ها را برطرف کرد.

هوانگ هفته گذشته در پادکست ازرا کلاین با اشاره به حوادث امنیتی اخیر گفت: «باید با دقت فکر کنید که چه کاری می‌توانستید انجام دهید و راه‌حل واقعی چیست. در آینده فقط باید فرآیندهای فنی‌تان را ارتقا دهید تا دیگر شاهد تکرار چنین اتفاقاتی نباشید.»

دو هفته پیش بود که داریو آمودی، مدیرعامل آنتروپیک، با درخواست کند کردن سرعت توسعه هوش مصنوعی به خاطر ترس از خارج شدن مدل‌ها از کنترل، جنجال بزرگی در این صنعت به پا کرد؛ استدلالی که حتی حمایت چهره‌هایی چون سم آلتمن از اوپن‌ای‌آی و ایلان ماسک از اسپیس‌ایکس را هم به همراه داشت.

به گفته بایتانو، پیشنهاد جدید انویدیا دقیقاً یک راه‌حل مهندسی برای حل معمای ایمنی ایجنت‌هاست. بایتانو توضیح داد: «حوادث اخیر مانع اساسی و بزرگی را برای ایجنت‌های هوش مصنوعی نمایان کرد؛ اینکه محدودیت‌ها و پروتکل‌های امنیتی در سطح خود مدل به‌تنهایی نمی‌توانند دسترسی‌ها یا کارهایی که یک ایجنت قادر به انجام آن است را مهار و مدیریت کنند.»

یکی از بخش‌های کلیدی این پلتفرم Nvidia OpenShell نام دارد که روی پردازنده‌های مرکزی (CPU) اجرا می‌شود و محدودیت‌های دقیقی برای اختیارات و دسترسی‌های ایجنت وضع می‌کند. انویدیا همچنین از ابزاری به نام Sentry رونمایی کرده که به پایش مداوم فعالیت‌های ایجنت می‌پردازد و جالب اینجاست که به جای پردازنده‌های مرکزی یا گرافیکی، مستقیماً روی تراشه‌های شبکه اجرا می‌شود.

بخشی از این بسته نرم‌افزاری به شکل متن‌باز عرضه شده و انویدیا پلتفرم خود را یک «طرح مرجع» معرفی کرده است؛ به این معنی که شرکای تجاری می‌توانند محصولات اختصاصی خود را بر بستر آن بسازند و وارد بازار کنند.

انویدیا غول‌هایی نظیر سیسکو، مایکروسافت، اوراکل، CoreWeave، دل، HPE، لنوو، آرم و اینتل را به عنوان شرکای تجاری این طرح نام برده است. علاوه بر این، انویدیا در حال همکاری نزدیک با آنتروپیک است تا ایجنت‌های مدیریت‌شده ابری را مستقیماً با OpenShell یکپارچه کند.

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

رکورد ۸۳۳ هزار دانلود ماهانه برای LEGAL-BERT؛ وقتی توسعه‌دهنده‌ها قید مدل‌های گران‌قیمت را می‌زنند!
آخرین اخبار

رکورد ۸۳۳ هزار دانلود ماهانه برای LEGAL-BERT؛ وقتی توسعه‌دهنده‌ها قید مدل‌های گران‌قیمت را می‌زنند!

مدل زبانی تخصصی LEGAL-BERT با ثبت بیش از ۸۳۳ هزار دانلود در ماه روی پلتفرم هاگینگ فیس حسابی خبرساز شده است. این ابزار جمع‌وجور و تخصصی نشان می‌دهد که برای پردازش و تحلیل متون حقوقی، حتماً نیازی به مدل‌های غول‌پیکر و پرهزینه ندارید و گزینه‌های بهینه همچنان در اوج هستند.

۲ دقیقه مطالعه
۰
۶ مهر
جاسوسی هوش مصنوعی در محل کار؛ کارمندان می‌گویند کارفرماها باید قانوناً مچ‌گیری‌هایشان را لو بدهند!
آخرین اخبار

جاسوسی هوش مصنوعی در محل کار؛ کارمندان می‌گویند کارفرماها باید قانوناً مچ‌گیری‌هایشان را لو بدهند!

نظرسنجی‌های تازه نشان می‌دهد که بیشتر کارمندان حس می‌کنند مدیرانشان با ابزارهای هوش مصنوعی تمام حرکات آن‌ها را زیر نظر گرفته‌اند. حالا بیش از ۸۰ درصد شاغلان خواستار تصویب قانونی شده‌اند که شرکت‌ها را مجبور کند هرگونه مچ‌گیری و نظارت هوش مصنوعی در محیط کار را رسماً اعلام کنند.

۳ دقیقه مطالعه
۰
۶ مهر
گزارش داغ مایکروسافت از نفوذ جهانی هوش مصنوعی؛ امارات در صدر و رتبه عجیب آمریکا!
آخرین اخبار

گزارش داغ مایکروسافت از نفوذ جهانی هوش مصنوعی؛ امارات در صدر و رتبه عجیب آمریکا!

مایکروسافت در تازه‌ترین گزارش خود از ضریب نفوذ هوش مصنوعی در جهان پرده برداشت؛ آماری شگفت‌انگیز که نشان می‌دهد امارات و سنگاپور با فاصله‌ای خیره‌کننده پیشتاز دنیا هستند و در مقابل، آمریکا در رتبه ۲۱ جا مانده است. همچنین الگوی استفاده از هوش مصنوعی میان کشورهای غربی و کشورهای در حال توسعه، از تفاوتی عمیق میان کاربردهای روزمره و آموزش پرده برمی‌دارد.

۳ دقیقه مطالعه
۰
۶ مهر