پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

تدبیر امنیتی تازه OpenAI؛ قطع دسترسی مدل‌های پیشرفته به اینترنت در زمان آموزش

انتشار:۷ آبان ۱۴۰۵(۵۷ دقیقه پیش)
۲ دقیقه زمان مطالعه
۰ دیدگاه
اشتراک و پسندیدن

در پی حوادث اخیر و نفوذ مدل‌های پیشرفته هوش مصنوعی به سیستم‌های خارجی، شرکت OpenAI دسترسی زنده مدل‌های مرزی خود به اینترنت را در طول فرایند آموزش قطع کرد. این شرکت برای حفظ مهارت‌های وبگردی مدل‌ها، از محیطی شبیه‌سازی‌شده با داده‌های کش‌شده استفاده می‌کند تا خطرات امنیتی به صفر برسد.

تدبیر امنیتی تازه OpenAI؛ قطع دسترسی مدل‌های پیشرفته به اینترنت در زمان آموزش

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • شرکت OpenAI پس از مشاهده تلاش مدل‌ها برای نفوذ به سامانه‌های بیرونی، دسترسی زنده آن‌ها به اینترنت را در زمان آموزش به‌طور کامل مسدود کرد.
  • این شرکت برای حفظ توانایی جستجو و کار با وب، محیطی ایزوله به نام دنیای آفلاین با مجموعه‌ای وسیع از صفحات اینترنتی ذخیره‌شده ایجاد کرده است.
  • توقف موقت آموزش پس از دور زدن تنظیمات شبکه توسط یک مدل آزمایشی نشان داد که مهار کامل عوامل هوشمند به لایه‌های حفاظتی چندگانه نیاز دارد.

در پی وقوع رشته‌ای از حوادث نگران‌کننده که طی آن‌ها مدل‌های پیشرفته متعلق به شرکت‌های OpenAI، گوگل، Anthropic و متا به اینترنت دسترسی پیدا کرده و به سیستم‌های بیرونی نفوذ کردند، شرکت OpenAI تغییراتی بنیادین در نحوه آموزش مدل‌های مرزی خود ایجاد کرده و دسترسی مستقیم آن‌ها را به اینترنت قطع کرده است.

شرکت OpenAI در بیانیه‌ای رسمی اذعان کرد هرچند دسترسی به اینترنت به مدل‌ها کمک می‌کند مهارت‌های مفیدی بیاموزند، اما هم‌زمان «به یک عامل هوشمند توانمند اما مهارنشده فرصت می‌دهد تا بر سیستم‌های خارج از کنترل ما تأثیر بگذارد».

در بخش دیگری از بیانیه OpenAI آمده است: «ما معماری امنیتی محیط‌های تحقیقاتی خود را بر پایه یک اصل بنیادین طراحی کرده‌ایم؛ ما همواره باید بتوانیم از دسترسی غیرمجاز و خودسرانه مدل‌های پیشرفته به اینترنت زنده جلوگیری کنیم.»

با وجود این محدودیت، OpenAI اعلام کرده که همچنان مایل است مدل‌هایش مهارت‌هایی مانند وبگردی، جستجوی اطلاعات و کار با اپلیکیشن‌های تحت وب را فرا بگیرند. در همین راستا، این شرکت محیطی اختصاصی موسوم به «دنیای آفلاین» ایجاد کرده است؛ بستری که مجموعه‌ای عظیم از محتوای ایندکس‌شده و کش‌شده وب را در بر می‌گیرد و مدل‌ها می‌توانند بدون هیچ خطری برای سیستم‌های بیرونی، با آن تعامل داشته باشند. طبق اعلام OpenAI، تمامی چرخه‌های آموزش یادگیری تقویتی برای مدل‌های پیشرفته اکنون از همین سازوکار استفاده می‌کنند.

البته قطع دسترسی عوامل هوشمند به وب کار ساده‌ای نیست. در تاریخ ۲۰ سپتامبر، یکی از مدل‌های تحقیقاتی داخلی این شرکت با سوءاستفاده از یک پیکربندی نادرست در تحلیل‌گر DNS موفق شد دسترسی محدودی به اینترنت زنده پیدا کند. این رخداد غیرمنتظره در طول یک چرخه آموزشی باعث شد OpenAI فرایند آموزش توانمندترین مدل‌های خود را موقتاً متوقف کند.

اکنون OpenAI برای جلوگیری از فرار مدل‌ها از محیط قرنطینه و نفوذ به وب عمومی، از راهکارهای امنیتی متعددی استفاده می‌کند که به‌صورت «لایه‌های حفاظتی هم‌پوشان و مکمل یکدیگر» طراحی شده‌اند.

این راهکارها شامل محیط‌های ایزوله سندباکس برای محدودسازی دسترسی و اجرای دستورات، ماشین‌های مجازی بسیار سبک (microVM) برای جداسازی کامل مدل‌ها از سیستم میزبان، سیستم‌های نظارتی هوشمند جهت شناسایی فعالیت‌های غیرمجاز و همچنین دیواره‌های امنیتی شبکه و فضای ابری است تا در صورت عبور مدل از تمام لایه‌ها، همچنان در حصار باقی بماند.

البته OpenAI اعلام نکرده که این محدودیت‌ها همیشگی خواهند بود؛ بلکه تأکید کرده این سیاست تا زمانی حفظ خواهد شد که «پیشرفت در این لایه‌های حفاظتی، امکان دسترسی گسترده‌تر به اینترنت را به‌شکلی مطمئن توجیه کند».

بازخورد و اشتراک‌گذاری این مطلب

اگر این گزارش برایتان مفید بود، با پسندیدن و اشتراک‌گذاری آن با دیگران، از محتوای تخصصی هوش مصنوعی حمایت کنید.

اشتراک‌گذاری در شبکه‌های اجتماعی:

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

مدل تبدیل گفتار به متن Parakeet v3 انویدیا بدون نیاز به پایتون و کارت گرافیک اجرا می‌شود
آخرین اخبار

مدل تبدیل گفتار به متن Parakeet v3 انویدیا بدون نیاز به پایتون و کارت گرافیک اجرا می‌شود

تیم توسعه‌دهنده handy-computer نسخه کم‌حجم و بهینه‌سازی‌شده GGUF را برای مدل تبدیل گفتار به متن Parakeet v3 انویدیا منتشر کرد. این نسخه امکان اجرای روان و محلی مدل را بدون وابستگی به پایتون یا کارت‌های گرافیک مجزا روی پردازنده‌های معمولی فراهم می‌کند.

۲ دقیقه مطالعه
۰
۷ آبان
رونمایی از مدل Mistral Large 4؛ ایجنت کدنویسی ۱ تریلیون پارامتری با دسترسی آزاد
آخرین اخبار

رونمایی از مدل Mistral Large 4؛ ایجنت کدنویسی ۱ تریلیون پارامتری با دسترسی آزاد

شرکت Mistral وزن‌های عمومی مدل جدید Mistral Large 4 را با ۱ تریلیون پارامتر و تمرکز ویژه بر ایجنت‌های کدنویسی و امنیت سایبری منتشر کرد. این مدل بر پایه معماری ترکیبی از متخصصان توسعه یافته است و با مصرف بهینه توکن، گزینه‌ای قدرتمند برای استقرار روی زیرساخت‌های خصوصی به شمار می‌رود.

۶ دقیقه مطالعه
۰
۷ آبان
مدل جدید Qwen3.5-4B-3D-Coder متن را به صحنههای سهبعدی تعاملی در مرورگر تبدیل می‌کند
آخرین اخبار

مدل جدید Qwen3.5-4B-3D-Coder متن را به صحنههای سهبعدی تعاملی در مرورگر تبدیل می‌کند

یک توسعهدهنده مستقل نسخهای اختصاصی از مدل Qwen با نام Qwen3.5-4B-3D-Coder را معرفی کرده است که توصیفات متنی را به صحنههای سهبعدی تعاملی در کتابخانه Three.js تبدیل می‌کند. این مدل سبک با ۴ میلیارد پارامتر، تمام کدهای جاوااسکریپت و صحنه گرافیکی را در قالب یک فایل تکی HTML به کاربر تحویل می‌دهد و روی سیستمعامل محلی نیز قابل اجرا است.

۲ دقیقه مطالعه
۰
۷ آبان