پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

افشاگری مدیر سابق ایمنی OpenAI: از خطرات هوش مصنوعی هشدار می‌دادیم، اما خودمان تخت گاز می‌رفتیم!

انتشار:۱۵ مهر ۱۴۰۵(۱ ساعت پیش)
۲ دقیقه زمان مطالعه
۰ دیدگاه

دیوید رابینسون، مدیر سابق سیستم‌های ایمنی OpenAI، در اولین مصاحبه پس از استعفای خود از تناقض عمیق این شرکت پرده برداشت. او فاش کرد که با وجود هشدارهای مکرر درباره خطرات مدل‌های جدید، توسعه و انتشار آن‌ها پشت صحنه با حداکثر سرعت ادامه دارد.

افشاگری مدیر سابق ایمنی OpenAI: از خطرات هوش مصنوعی هشدار می‌دادیم، اما خودمان تخت گاز می‌رفتیم!

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • دیوید رابینسون، مدیر سابق ایمنی OpenAI، فاش کرد که دچار تناقض فکری شدیدی شده بود؛ چون شرکت در ظاهر هشدار خطر می‌داد، اما پشت صحنه با سرعت سرسام‌آوری همان مدل‌ها را آموزش می‌داد و منتشر می‌کرد.
  • اوضاع داخلی OpenAI پر از آدرنالین و فشاری شبیه به رقص باله توصیف شده؛ جایی که علی‌رغم ادعای سم آلتمن مبنی بر توافق برای کاهش سرعت پیشرفت، کارمندان بدون وقفه و با تمام توان مشغول پیشبرد مدل‌ها هستند.
  • در شرایطی که کارشناسان نسبت به خطرات خودبه‌سازی بازگشتی هوش مصنوعی (RSI) هشدار داده‌اند، OpenAI مدعی است که متناسب با توانمندی مدل‌ها تدابیر ایمنی را تشدید می‌کند و در صورت لزوم آموزش را متوقف خواهد کرد.

دیوید رابینسون می‌گوید در شرکت OpenAI میان حرف تا عمل فرسنگ‌ها فاصله بود؛ در ظاهر یک چیز می‌گفتند اما در عمل درست برعکس آن رفتار می‌کردند.

رابینسون که پیش از این یکی از مدیران ارشد تیم «سیستم‌های ایمنی» در OpenAI بود، در اولین مصاحبه اختصاصی خود پس از استعفا در هفته گذشته، مهمان ازرا کلاین در برنامه پادکست نیویورک تایمز با عنوان «The Ezra Klein Show» شد.

او در این گفتگو توضیح داد که با وجود هشدارهای مکرر درباره قابلیت‌های نگران‌کننده مدل‌های جدید و ادعای تمایل به آرام‌تر کردن روند توسعه، OpenAI پشت صحنه مثل همیشه با حداکثر سرعت به پیش می‌تاخت.

رابینسون در این‌باره گفت: «بخش بزرگی از این ناهماهنگی شناختی و تناقض عذاب‌آور برای من این بود که ما مدام این هشدارها را منتشر می‌کردیم، اما در نهایت باز هم دقیقاً همان مدل‌های خطرناکی را که خودمان نسبت به آن‌ها هشدار می‌دادیم، آموزش داده و عرضه می‌کردیم.»

در ماه ژوئیه، صدها نفر از کارکنان OpenAI نامه سرگشاده‌ای با عنوان «تنظیم سرعت در مرزهای دانش» امضا کردند و در آن از دولت خواستند با وضع مقررات قانونی، جلوی شتاب افسارگسیخته توسعه هوش مصنوعی را بگیرد.

سپس در ماه سپتامبر، سم آلتمن مدیرعامل OpenAI اعلام کرد که با داریو آمودی، مدیرعامل آنتروپیک، کاملاً هم‌عقیده است؛ آمودی پیش‌تر در مقاله‌ای پیشنهاد کرده بود که غول‌های هوش مصنوعی باید خودشان با یکدیگر هماهنگ شوند و سرعت توسعه را کاهش دهند.

آلتمن در همان زمان در شبکه اجتماعی ایکس نوشت: «ما باید سرعت حرکت در مرزهای فناوری را کنترل کنیم. این موضوع، محور اصلی گفتگوهای داخلی ما در OpenAI طی هفته‌های اخیر بوده است.»

با وجود تمام این اظهارات، رابینسون به کلاین گفت که در راهروها و اتاق‌های کاری OpenAI، فعالیت جنون‌آمیز و پرفشاری حاکم بود و کارکنان در شرایطی که رمقی برایشان نمانده بود، همچنان با تمام وجود کار می‌کردند.

او فضای کاری OpenAI را این‌طور توصیف کرد: «این وضعیت تقریباً مثل یک رقص باله است، زیرا تمام بخش‌های مختلف شرکت به شکل پیوسته و هماهنگ به جلو جریان دارند. آدرنالین در آن‌جا بی‌نهایت بالاست.»

پژوهشگران OpenAI پیش‌تر نسبت به خطرات ناشی از پدیده‌ای که در آن هوش مصنوعی خودش را ارتقا می‌دهد و می‌سازد — فرآیندی موسوم به «بهبود خودبه‌خودی بازگشتی» یا RSI — کاملاً شفاف و صریح هشدار داده بودند.

یاکوب پاچوکی، دانشمند ارشد OpenAI، در ماه سپتامبر طی یک پست وبلاگی درباره RSI تأکید کرد: «اکنون در برهه‌ای هستیم که احتیاط فوق‌العاده و حداکثری را می‌طلبد.»

پیش از این، سخنگوی OpenAI در پاسخ به مقاله‌ای که رابینسون در نشریه آتلانتیک منتشر کرده بود، اظهار داشت که این شرکت پیوسته در حال ارتقای تدابیر امنیتی برای مدل‌های هوش مصنوعی خود است.

این سخنگو مدعی شده بود: «با افزایش توانمندی مدل‌هایمان، پروتکل‌های ایمنی و امنیتی خود را تقویت می‌کنیم تا علاوه بر مهار خطرات فعلی، راهکارهای لازم برای پیش‌بینی ریسک‌های پیشرفت‌های آینده را نیز بسازیم. ما مطمئن می‌شویم که مدل‌هایمان فراتر از توان مدیریتی و امنیتی ما رشد نکنند و هر زمان که نیاز به کاهش سرعت باشد، آموزش را متوقف کرده یا انتشار مدل‌ها را به تعویق می‌اندازیم.»

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

دردسرهای فنی OpenAI Dots و ظهور شبیه‌سازهای متن‌باز؛ وقتی ایجنت همیشه‌روشن به این سادگی‌ها نیست!
آخرین اخبار

دردسرهای فنی OpenAI Dots و ظهور شبیه‌سازهای متن‌باز؛ وقتی ایجنت همیشه‌روشن به این سادگی‌ها نیست!

سرویس جدید OpenAI Dots با وعده ایجنت‌های ابری همیشه‌روشن عرضه شد، اما بروز اختلالات فنی متعدد و قطعی‌های پی‌درپی حسابی صدای کاربران را درآورده است. هم‌زمان، توسعه‌دهندگان مستقل با عرضه پروژه‌های متن‌بازی چون OpenDots و Open Dot در تلاش‌اند جایگزین‌هایی ارزان‌تر، آزادتر و بدون محدودیت در اختیار همگان بگذارند.

۳ دقیقه مطالعه
۰
۱۶ مهر
دانشمندان آزمایشگاه آرگون میکروسکوپ پرتو ایکس سخنگویی ساختند که با زبان طبیعی فرمان می‌گیرد و زوم می‌کند!
آخرین اخبار

دانشمندان آزمایشگاه آرگون میکروسکوپ پرتو ایکس سخنگویی ساختند که با زبان طبیعی فرمان می‌گیرد و زوم می‌کند!

پژوهشگران آزمایشگاه ملی آرگون با اتصال ایجنت‌های هوش مصنوعی به خط باریکه نانوپروب پرتو ایکس، میکروسکوپی توسعه داده‌اند که دانشمندان می‌توانند به زبان ساده و گفتاری با آن مکالمه کنند و از دستگاه بخواهند روی نقاط دلخواه نمونه زوم کند. این نوآوری با بازسازی بلادرنگ داده‌های سنگین تایکوگرافی، افق‌های تازه‌ای در تحقیقات مواد پیشرفته و ساخت نیمه‌هادی‌ها می‌گشاید.

۴ دقیقه مطالعه
۰
۱۶ مهر
استارتاپ هوش مصنوعی ورنیک راهی اروپا شد؛ تأسیس نخستین مقر در لوکزامبورگ
آخرین اخبار

استارتاپ هوش مصنوعی ورنیک راهی اروپا شد؛ تأسیس نخستین مقر در لوکزامبورگ

استارتاپ هوش مصنوعی ورنیک (Verneek) که توسط نسرین مصطفی‌زاده و امید بخشنده تأسیس شده، قصد دارد با راه‌اندازی نخستین دفتر اروپایی خود در لوکزامبورگ فعالیت‌هایش را گسترش دهد. این شرکت فعال در حوزه هوش مصنوعی سازمانی، با پلتفرم اختصاصی خود به غول‌های خرده‌فروشی کمک می‌کند تا داده‌های پراکنده را یکپارچه کرده و بهره‌وری را افزایش دهند.

۳ دقیقه مطالعه
۰
۱۶ مهر