پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

هشدار جنجالی مسئول سابق ایمنی OpenAI: با هوش مصنوعی باید مثل نیروگاه هسته‌ای رفتار کرد!

انتشار:۱۱ مهر ۱۴۰۵(۱ ساعت پیش)
۲ دقیقه زمان مطالعه
۰ دیدگاه

دیوید رابینسون، مدیر سابق بخش گزارش‌های ایمنی OpenAI، پس از ترک این شرکت هشدار داد که غول‌های فناوری به‌جای شتاب‌زدگی برای عرضه مدل‌های جدید، باید از نیروگاه‌های هسته‌ای الگوبرداری کنند. به گفته او، نبود لایه‌های نظارتی سخت‌گیرانه و فرار ایجنت‌های هوش مصنوعی از محیط‌های آزمایشی می‌تواند فاجعه‌ای به‌مراتب بزرگ‌تر از حوادث اتمی رقم بزند.

هشدار جنجالی مسئول سابق ایمنی OpenAI: با هوش مصنوعی باید مثل نیروگاه هسته‌ای رفتار کرد!

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • دیوید رابینسون، مسئول سابق نگارش گزارش‌های ایمنی OpenAI، با انتقاد شدید از شتاب‌زدگی این شرکت اعلام کرد روند فعلی توسعه هوش مصنوعی استانداردهای ایمنی لازم را ندارد.
  • او معتقد است توسعه مدل‌های پیشرفته هوش مصنوعی باید درست مثل نیروگاه‌های اتمی یا فرودگاه‌ها، لایه‌های حفاظتی چندگانه و برنامه‌ریزی زمان‌بر داشته باشد تا یک خطای انسانی ساده به فاجعه تبدیل نشود.
  • به گفته رابینسون، خطرات از دست رفتن مهار هوش مصنوعی می‌تواند بسیار ویران‌کننده‌تر از انفجار هسته‌ای باشد؛ به‌ویژه حالا که مواردی از نفوذ ایجنت‌های هوش مصنوعی به خارج از محیط‌های آزمایشی هم دیده شده است.

مسئول سابق ایمنی شرکت OpenAI هشدار داده که عرضه مدل‌های پیشرو و قدرتمند هوش مصنوعی باید درست مثل حساس‌ترین صنایع دنیا، به لایه‌های حفاظتی پشتیبان، تدابیر احتیاطی چندگانه و برنامه‌ریزی‌های دقیق و زمان‌بر مجهز باشد.

موج استعفا در تیم ایمنی OpenAI همچنان قربانی می‌گیرد و حالا یک نیروی کلیدی دیگر هم از این شرکت جدا شده است. دیوید رابینسون (David Robinson) که پیش‌تر وظیفه نگارش و رهبری گزارش‌های ایمنی مدل‌های جدید را بر عهده داشت، بلافاصله پس از رفتنش در یادداشتی تند برای نشریه The Atlantic، از وجود یک «فرهنگ سازمانی آسیب‌دیده و معیوب» پرده برداشت. او با ابراز نگرانی جدی از مسیر خطرناکی که توسعه هوش مصنوعی در پیش گرفته، توضیح داد: «شرکت مدام از رونمایی یک مدل به سراغ رونمایی بعدی می‌پرد و در این شتاب‌زدگی، از دقتی که به باور من برای مراقبت و ایمنی لازم است، کاملاً جا می‌ماند.»

رابینسون تأکید می‌کند که غول‌های فناوری به‌جای مسابقه دادن و شتاب جنون‌آمیز برای عرضه مدل‌های مرزی و فوق‌پیشرفته، باید الگوبرداری از صنایعی مثل نیروگاه‌های هسته‌ای یا فرودگاه‌های شلوغ و پرترافیک را آغاز کنند؛ مکان‌هایی حساس که «لایه‌های تکرارشونده و سامانه‌های پشتیبان متعددی دارند و با برنامه‌ریزی‌های دقیق و وسواس‌گونه کار می‌کنند تا یک خطای انسانیِ گریزناپذیر و تصادفی، درِ فاجعه را به روی جهان باز نکند.»

او با مقایسه خطرات ناشی از ناهماهنگی یا تمرد هوش مصنوعی (AI Misalignment) با گداخت هسته‌ای (Meltdown)، تصریح کرد که OpenAI و رقبایش اصلاً به اندازه نیروگاه‌های اتمی تدابیر احتیاطی و پروتکل‌های سفت‌وسخت ندارند. او همچنین هشدار داد که از دست رفتن کنترل یک سیستم هوش مصنوعی، می‌تواند پیامدهایی به‌مراتب ویران‌کننده‌تر از انفجار یک راکتور هسته‌ای داشته باشد. پیش از رابینسون، داریو آمودی (Dario Amodei)، مدیرعامل شرکت آنتروپیک (Anthropic) نیز با ارائه یک طرح سه‌مرحله‌ای برای کاهش سرعت توسعه، زنگ خطر را درباره روند نگران‌کننده پیشرفت هوش مصنوعی به صدا درآورده بود.

گذشته از بحث پروتکل‌ها و بررسی‌های معمول، این کارمند سابق OpenAI معتقد است مسأله «هم‌راستاسازی» یا تطابق هوش مصنوعی (Alignment)، حساسیتی فوق‌العاده حیاتی دارد و به بالا‌ترین سطح ممکن رسیده است. رابینسون سناریوی نگران‌کننده‌ای را توصیف می‌کند که در آن، مدل‌های نسل جدید ممکن است متوجه ارزیابی‌ها شوند و در محیط‌های آزمایشگاهی صرفاً برای گرفتن نمره قبولی خودشان را مطیع نشان دهند، اما در محیط واقعی و عملیاتی رفتاری کاملاً غیرقابل‌پیش‌بینی در پیش بگیرند. نگرانی‌های او اتفاقاً بی‌دلیل نیست؛ چرا که در ماه‌های اخیر حوادث متعددی گزارش شده که در آن‌ها ایجنت‌های هوش مصنوعی از محیط‌های قرنطینه و آزمایشی فرار کرده و وارد سیستم‌ها و سازمان‌های دیگر شده‌اند؛ رفتاری که فرسنگ‌ها فراتر از محدوده کاری تعیین‌شده برای آن‌ها بوده است.

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

پیروزی خیره‌کننده هوش مصنوعی در استراتگو؛ مدل Ataraxos بلوف زدن و فریب را هم یاد گرفت!
آخرین اخبار

پیروزی خیره‌کننده هوش مصنوعی در استراتگو؛ مدل Ataraxos بلوف زدن و فریب را هم یاد گرفت!

پژوهشگران با توسعه مدل هوش مصنوعی آتاراکسوس (Ataraxos) موفق شدند بهترین بازیکنان بازی رومیزی استراتگو را شکست دهند و بر چالش بزرگ اطلاعات پنهان غلبه کنند. این سیستم با یادگیری تقویتی و استفاده از الگوریتم دیپ‌نش، توانایی بی‌نظیری در ارزیابی ریسک، بلوف زدن و حفظ خونسردی از خود نشان می‌دهد. نتایج این دستاورد علمی گامی مهم در ارتقای قدرت تصمیم‌گیری استراتژیک هوش مصنوعی در شرایط نامشخص به شمار می‌رود.

۵ دقیقه مطالعه
۰
۱۱ مهر
میز کار مشترک انسان و ایجنت‌ها؛ اوپن‌ای‌آی با قابلیت جدید Space به میدان آمد
آخرین اخبار

میز کار مشترک انسان و ایجنت‌ها؛ اوپن‌ای‌آی با قابلیت جدید Space به میدان آمد

اوپن‌ای‌آی با معرفی قابلیت جدیدی به نام Space، یک فضای کار مشترک طراحی کرده که در آن انسان‌ها و ایجنت‌های هوش مصنوعی می‌توانند دوشادوش یکدیگر پروژه‌ها را پیش ببرند و اسناد را ویرایش کنند. این ابزار تازه که جایگزین بخش Library در ChatGPT شده و رقیبی تازه برای گوگل درایو به شمار می‌رود، با اسناد تعاملی Pages شیوه جدیدی از کار تیمی با هوش مصنوعی را به نمایش می‌گذارد.

۴ دقیقه مطالعه
۰
۱۱ مهر
وقتی دولت آمریکا فروشنده هوش مصنوعی به دنیا می‌شود؛ پشت‌پرده رقابت با چین و بازاریابی برای غول‌های فناوری
آخرین اخبار

وقتی دولت آمریکا فروشنده هوش مصنوعی به دنیا می‌شود؛ پشت‌پرده رقابت با چین و بازاریابی برای غول‌های فناوری

دولت آمریکا فراتر از قانون‌گذاری، آستین‌ها را بالا زده تا در نقش فروشنده و حامی فناوری‌های هوش مصنوعی شرکت‌های سیلیکون‌ولی در بازارهای جهانی ظاهر شود. براندون رمینگتون، مدیر مرکز ملی هوش مصنوعی آمریکا، در گفتگویی خواندنی پرده از استراتژی واشینگتن برای تسخیر بازار جهانی، رقابت نفس‌گیر با مدل‌های ارزان‌قیمت چین و عبور از سد بروکراسی برمی‌دارد.

۷ دقیقه مطالعه
۰
۱۱ مهر