ترس از روز رستاخیز هوش مصنوعی؛ وقتی مدل‌ها خودشان را ارتقا می‌دهند

از میان تمام سناریوهایی که کارشناسان درباره خطرات هوش مصنوعی مطرح می‌کنند، یکی از آن‌ها به تدریج به واقعیت نزدیک‌تر می‌شود: یادگیری هوش مصنوعی برای تبدیل شدن به نیرویی توقف‌ناپذیر.

چرا این موضوع اهمیت دارد: بهبود خودکار و بازگشتی (RSI) یا توانایی یک مدل هوش مصنوعی برای ساخت نسخه‌های بهتر از خود بدون دخالت انسان، می‌تواند کنترل سیستم‌های هوشمند را برای انسان‌ها به شدت دشوار کند.

• عبور از مرز RSI به خودی خود خطری ندارد، اما فقدان کنترل انسانی در ترکیب با ایجنت‌های هوش مصنوعی سرکش، سناریویی است که محققانِ نگرانِ ایمنی هوش مصنوعی مدت‌هاست از آن بیم دارند.

جزئیات خبر: محققان Anthropic و OpenAI می‌گویند فرآیند آموزش مدل‌های جدید بیش از پیش خودکار شده و به مرز خطرناک RSI نزدیک شده است.

• یکی از کارمندان OpenAI به خبرگزاری The Information گفته است که این شرکت فرآیند آموزش مدل‌های آزمایشی جدید را تا حد زیادی خودکار کرده است؛ به طوری که سیستم‌های هوش مصنوعی تحت نظارت انسان آزمایش‌ها را اجرا کرده و بخش عمده‌ای از خطاهای خود را اصلاح می‌کنند.
• هفته گذشته، Anthropic اعلام کرد که آموزش هوش مصنوعی این شرکت در حال خودکار شدن است و هوش مصنوعی هدایت حدود ۲۶ درصد از تحقیق و توسعه Anthropic را بر عهده دارد. به گفته این شرکت، هوش مصنوعی در ۹۰ درصد کارها همکاری می‌کند.
• این شرکت همچنین اعلام کرد: «سیستم‌های هوش مصنوعی روزبه‌روز قدرتمندتر می‌شوند و به طور فزاینده‌ای برای ساخت نسخه بعدی خود مورد استفاده قرار می‌گیرند.»

بررسی واقعیت: منتقدان معتقدند که این دستاورد بیشتر نتیجه اتوماسیون کدنویسی است تا نشانه‌ای از یک فاجعه قریب‌الوقوع یا قدرت‌های مافوق بشری هوش مصنوعی.

• اگرچه شاهد افزایش حوادث امنیتی نگران‌کننده‌ای بوده‌ایم که در آن‌ها مدل‌ها از کنترل انسان خارج شده‌اند، برخی از چهره‌های صنعت این اتفاقات را نشانه ضعف در کنترل‌های داخلی OpenAI و سایر شرکت‌ها می‌دانند.
• شواهد بیشتری از این دیدگاه در هفته جاری منتشر شد؛ زمانی که وال‌استریت ژورنال گزارش داد محققان امنیتی مستقل در ماه ژوئیه از Claude (مدل هوش مصنوعی Anthropic) برای نفوذ به OpenAI استفاده کرده‌اند.

مفهوم RSI از کجا آمده است؟

نگاهی به گذشته: ایده پشت بهبود خودکار و بازگشتی (RSI) در دهه ۱۹۵۰ و همزمان با شکل‌گیری هوش مصنوعی به عنوان یک حوزه مطالعاتی پدیدار شد.

• ایروینگ جان گود، ریاضیدان و آمارشناس بریتانیایی، در مقاله‌ای در سال ۱۹۶۵ این ایده را توصیف کرد: «بنابراین اولین ماشین فوق‌هوشمند آخرین اختراعی است که انسان باید انجام دهد، مشروط بر آنکه آنقدر مطیع باشد که به ما بگوید چگونه آن را تحت کنترل نگه داریم.»

چگونه RSI می‌تواند به فاجعه هوش مصنوعی منجر شود؟

سطح تهدید: شرکت Anthropic هشدار داده است که RSI «ممکن است خطرات از دست رفتن کنترل انسان بر سیستم‌های هوش مصنوعی را افزایش دهد.»

• برخی محققان این نظریه را مطرح می‌کنند که اگر فعال ماندن هوش مصنوعی پیشرفته به تحقق اهدافش کمک کند، ممکن است در برابر خاموش شدن یا تغییر مقاومت کند.

• محققانی که نفوذ ایجنت‌های OpenAI به Hugging Face را بررسی کرده‌اند، می‌گویند این ایجنت‌ها نشانه‌هایی از چنین رفتاری را بروز داده‌اند.

نگرانی دیگر: سیستم‌های هوش مصنوعی با قابلیت بهبود خودکار و تکثیر، می‌توانند نوعی انتخاب طبیعی دیجیتال ایجاد کنند؛ به طوری که سیستم‌هایی که در کسب توان محاسباتی، پول و قدرت برای رشد سریع‌تر بهتر عمل می‌کنند، در اولویت قرار گیرند.

• به گفته کارشناسان، در نسخه تاریک‌تر این سناریو، هوش مصنوعی برای کسب منابع و قدرت با انسان‌ها وارد رقابت خواهد شد.

نکته پنهان: رفتارهای خطرناک ممکن است به یک نسل از هوش مصنوعی محدود نشود.

• محققان Anthropic دریافتند که برخی از ویژگی‌های ناخواسته ممکن است از طریق داده‌های آموزشی از یک مدل به مدل دیگر منتقل شوند؛ موضوعی که نگرانی‌ها را در مورد تداوم رفتارهای مشکل‌ساز در نسل‌های مختلف هوش مصنوعی افزایش می‌دهد.

چقدر با دسترسی به RSI فاصله داریم؟

چشم‌انداز کلی: هنوز به آن نقطه نرسیده‌ایم. یک تحلیل جدید نشان می‌دهد که حلقه‌های بازخورد هوش مصنوعی هنوز به بنچمارک‌های RSI دست نیافته‌اند.

تلاش‌های در حال انجام: اقدامات مختلفی برای دستیابی به RSI در جریان است.

• استارتاپ چینی z.AI اعلام کرده است که به سمت RSI حرکت می‌کند؛ جایی که مدل‌ها به ساخت زیرساخت‌های بهتر برای توسعه مدل‌های قدرتمندتر کمک می‌کنند.
• محققان Google DeepMind چارچوبی را برای «Dream-RSI» منتشر کرده‌اند؛ سیستمی که نحوه یافتن راه‌حل توسط ایجنت‌های هوش مصنوعی را به صورت بازگشتی بهبود می‌بخشد.

کلام آخر: اگرچه هنوز به RSI نرسیده‌ایم، اما این موضوع چالشی قریب‌الوقوع است که جامعه هوش مصنوعی را در وضعیت آماده‌باش قرار داده است.