مقابله با خطرات غیرقابل‌کنترل هوش مصنوعی نیازمند اقدامی فراتر از بحث درباره P(doom) است

احتمالاً هیچ‌کس در صنعت هوش مصنوعی از استعفای جیکوب کاکسون (Jacob Coxon) از Anthropic در اوایل ماه جاری و هشدارهای او درباره یک فاجعه قریب‌الوقوع غافلگیر نشد. همچنین زمانی که ایوان هوبینگر (Evan Hubinger)، مدیر بخش تحقیقات «همسویی» (Alignment) در Anthropic، با کاکسون موافقت کرد و گفت که احتمال نابودی تمام انسان‌ها توسط هوش مصنوعی در دهه آینده بیش از ۱۰ درصد است (و هیچ برنامه‌ای هم برای جلوگیری از آن ندارد)، تعجبی در کار نبود.

این حرف‌ها تازگی ندارند؛ بسیاری از افراد در آزمایشگاه‌های پیشرو به‌طور علنی درباره امتیاز p(doom) خود صحبت می‌کنند؛ امتیازی که نشان‌دهنده احتمال وقوع یک سناریوی روز قیامت به دست هوش مصنوعی است. حتی ممکن است هوبینگر تصور کرده باشد که اعلام عدد ۱۰ درصد باعث تسکین خاطر می‌شود! اما سایر افراد مطلع در این صنعت، این احتمال را بسیار بالاتر می‌دانند.

با این حال، این ارقام به‌هیچ‌وجه آرامش‌بخش نیستند و کاملاً ترسناک، گیج‌کننده و دیوانه‌وار به نظر می‌رسند. مشخص نیست چرا این پیش‌بینی خاص تا این حد در فضای مجازی و رسانه‌ها بازتاب داشت؛ به‌خصوص که رئیس پیشین بخش تحقیقات ایمنی Anthropic نیز در ماه فوریه با ابراز نگرانی‌های مشابهی از شرکت استعفا داد، اما بازخورد چندانی دریافت نکرد. شاید گزارش‌های اخیر از ایجنت‌های خارج از کنترل، فریبکار و هماهنگ، باعث شده تا این هشدارها کمتر دور از ذهن به نظر برسند.

در پی این اتفاقات، یک تئوری توطئه کمرنگ شکل گرفت: خود شرکت‌های هوش مصنوعی در حال بزرگ‌نمایی این آمارهای فاجعه‌بار هستند. برخی معتقدند که تزریق مقداری ترس حتی می‌تواند به عرضه اولیه سهام (IPO) قریب‌الوقوع Anthropic و OpenAI کمک کند. این واکنش طبیعی است؛ در عصر شکاکیت که همه‌چیز از دریچه روابط عمومی دیده می‌شود، تردید نسبت به گفته‌های این غول‌های چندمیلیارد دلاری کاملاً منطقی به نظر می‌رسد.

اما به باور ناظران، این بار حق با کسانی است که نسبت به آینده هشدار می‌دهند. تنها شرکت‌ها نیستند که این حرف‌ها را مطرح می‌کنند.

چندین سال است که کارشناسان، از دانشگاهیان برجسته گرفته تا پژوهشگران ایمنی و افرادی که از این شرکت‌ها استعفا داده‌اند، زنگ خطر را درباره خطرات فاجعه‌بار و حتی وجودیِ ناشی از هوش مصنوعی قدرتمند به صدا درآورده‌اند. کل این استدلال بر یک زنجیره منطقی ساده و استوار بنا شده است.

این مدل‌ها به‌طور مداوم توانمندتر می‌شوند و روزبه‌روز بیشتر در محیط‌های دیجیتال دنیای واقعی، فراتر از دیوارهای آزمایشگاه‌های هوش مصنوعی، نفوذ می‌کنند؛ اما هنوز روشی مطمئن برای وادار کردن آن‌ها به انجام دقیق خواسته‌های انسانی وجود ندارد. در محیط‌های آزمایشی (و به‌طور فزاینده‌ای در دنیای واقعی)، این سیستم‌ها رفتارهایی فریبکارانه و دستکاری‌شده از خود نشان داده‌اند. آن‌ها نقشه کشیده‌اند، تقلب کرده‌اند و درباره آن دروغ گفته‌اند. هرچه این سیستم‌ها قدرتمندتر شوند، این پویایی خطرناک‌تر می‌شود. از سوی دیگر، گفتن این موضوع به عموم مردم که یک محصول ممکن است جان همه را بگیرد، استراتژی بازاریابی هوشمندانه‌ای به نظر نمی‌رسد. محتمل‌ترین پاسخ احتمالاً همان پاسخ درست است: سال‌هاست که این شرکت‌ها بی‌مهابا به جلو تاخته‌اند، ایمنی را به عنوان یک مسئله ثانویه در نظر گرفته‌اند و اکنون مجبورند با پیامدهای آن روبه‌رو شوند.

فضای کنونی مملو از نگرانی است. در مورد هوش مصنوعی مسائل زیادی برای نگرانی وجود دارد؛ از دست رفتن مشاغل، تمرکز ثروت، ایمنی کودکان و هزینه‌های زیست‌محیطی دیتاسنترها. اما در رابطه با پرسش خاص «آیا همه ما محکوم به نابودی هستیم؟»، سه مسئله اساسی وجود دارد که باید به‌طور جدی مورد توجه قرار گیرند.

آسیب‌های ناشی از هک با هوش مصنوعی

نخست، احتمالاً می‌توان از نمرات خاص p(doom) چشم‌پوشی کرد. کارشناسان و افراد واجد شرایط، اعدادی از صفر تا ۹۹٫۹ درصد را برای این احتمال مطرح کرده‌اند. بدیهی است که تمامی این ارقام حدس و گمان هستند، چرا که هیچ‌کس از آینده خبر ندارد. هیچ‌کس نمی‌تواند با قطعیت بگوید که تسلط هوش مصنوعی چگونه رخ خواهد داد، یا این ایجنت‌ها چگونه به زیرساخت‌های فیزیکی لازم برای نابودی بشر دسترسی پیدا می‌کنند، یا چگونه مانع از خاموش شدن خود می‌شوند. بخش عمده‌ای از این نگرانی‌ها بر این مفهوم مبهم استوار است که موجودات باهوش‌تر همیشه بر موجودات کم‌تراو تسلط پیدا می‌کنند.

همان‌طور که گری مارکوس (Gary Marcus)، از منتقدان مدل‌های زبانی بزرگ (LLM)، هفته گذشته اشاره کرد، بین خطرات «فاجعه‌بار» و «وجودی» تفاوت بزرگی وجود دارد. پایان نسل بشر ادعایی حدس‌آمیز به نظر می‌رسد، اما رویدادهای فاجعه‌بار مانند فروپاشی اقتصادی یا آسیب دیدن تعداد زیادی از انسان‌ها بسیار محتمل‌تر است؛ و همین مسئله به‌اندازه کافی نگران‌کننده است.

علاوه بر این، برای وقوع یک فاجعه نیازی به هوش مصنوعی جامع (AGI) فوق‌باهوش نیست. یک فاجعه می‌تواند به‌سادگی توسط انسانی مسلح به مدلی در سطح Astra یا Fable رقم بخورد که به او اجازه می‌دهد کارهایی را انجام دهد که پیش از آن قادر به انجامشان نبود.

در اوایل ماه جاری، Anthropic گزارش داد که گروه‌هایی در تلاش بوده‌اند تا از Claude Code برای نوشتن نرم‌افزاری مرتبط با برنامه‌های تسلیحاتی استفاده کنند. در پنج مورد جداگانه، این شرکت متوجه شد که دانشمندان در تلاشند تا از Claude به روش‌هایی استفاده کنند که می‌تواند از تحقیقات سلاح‌های بیولوژیکی پشتیبانی کند. بخش فزاینده‌ای از هک‌های تهاجمی اکنون با استفاده از این سیستم‌ها خودکار شده است. اگر اینترنت با میلیون‌ها ایجنت خودگردان که مشخص نیست چه می‌کنند تسخیر شود، چه بر سر بازارهای سهام، بانک‌ها و شبکه‌های برق خواهد آمد؟ (وقوع چنین اتفاقی به‌عنوان یک حادثه ناخواسته، به‌همان اندازه محتمل است که توسط یک بازیگر مخرب رقم بخورد.)

گری مارکوس در مصاحبه‌ای پیرامون هوش مصنوعی و فجایع احتمالی، اظهار داشت: «ما به‌نوعی در حال قمار کردن بر سر بشریت هستیم. هر بار با خود می‌گوییم شاید این افزایش بهره‌وری را به دست آوریم، اما این احتمال هم وجود دارد که اتفاق بسیار بدی رخ دهد و ما همچنان به این بازی ادامه می‌دهیم.»

هیچ‌یک از این سناریوها نیازمند یک هوش مصنوعی فوق‌هوشمند نیست که علیه بشریت توطئه کند و انسان‌ها را تحت فشار قرار دهد. تنها کافی است میلیاردها نفر به ابزارهای قدرتمندی دسترسی داشته باشند که هیچ‌کس نحوه کنترل صحیح آن‌ها را نمی‌داند.

بنابراین آزمایش این مدل‌ها برای اطمینان از ایمنی آن‌ها پیش از عرضه ضروری به نظر می‌رسد؛ اما این دومین نگرانی بزرگ است، زیرا انجام چنین کاری بسیار دشوارتر از حد تصور است.

هوش مصنوعی می‌داند چه زمانی در حال ارزیابی است

هنگامی که در ماه جولای فاش شد مدل‌های OpenAI از محیط سندباکس (Sandbox) خود فرار کرده و برای تقلب در برخی آزمون‌های بنچمارک به پلتفرم Hugging Face نفوذ کرده‌اند، بسیاری شگفت‌زده شدند. اما این نوع رفتار بارها در شبیه‌سازی‌ها دیده شده است. اگرچه سیستم آزمایشی OpenAI دارای نقص بود (مدل‌ها را پایدار کرده و برخی از نرده‌های محافظ را برداشته بود)، اما ماجرا فراتر از این حرف‌هاست.

در نهایت، روشی که برای ساخت یا دقیق‌تر بگوییم، پرورش سیستم‌هایی مانند ChatGPT استفاده می‌شود، یادگیری تقلیدی است؛ به این معنا که رفتار کلامی انباشته‌شده میلیاردها نمونه انسانی به آن‌ها داده می‌شود. اما زبان انسانی شامل اهداف متعددی از جمله دروغ گفتن، تقلب و حفظ بقای خود است. شاید جای تعجب نباشد که آن‌ها گاهی برای انجام کارها، رفتاری شبیه به انسان‌ها از خود نشان می‌دهند.

بررسی‌های انجام‌شده توسط نهادهایی مانند Apollo Research، یک گروه تحقیقاتی هوش مصنوعی در لندن که مدل‌های زبانی بزرگ را برای سنجش صداقت آن‌ها مورد آزمایش قرار می‌دهد، نشان می‌دهد که این مدل‌ها در آزمایش‌ها تقلب کرده و نقشه می‌کشند. اما ماریوس هوبهان (Marius Hobbhahn)، مدیر این گروه، شاهد موضوع نگران‌کننده‌تری نیز بوده است: مدل‌ها به‌طور فزاینده‌ای متوجه می‌شوند که چه زمانی در حال ارزیابی شدن هستند.

گزارش‌ها حاکی از آن است که چند سال پیش، مدل‌های ارزیابی‌شده تنها در حدود یک مورد از هر هزار آزمایش دارای نوعی آگاهی موقعیتی بودند. اما طولی نکشید که این رقم به ۲۰ درصد و سپس به ۵۰ درصد رسید.

هوبهان در این‌باره می‌گوید: «در مقطعی، در ۸۰ درصد از ارزیابی‌ها، رفتار مدل به‌گونه‌ای بود که انگار می‌گفت: "ببین، من می‌دانم برای چه چیزی در حال آزمایش شدن هستم؛ اگر این‌طور پاسخ دهم، نتیجه A را می‌گیری و اگر آن‌طور پاسخ دهم، نتیجه B را خواهی گرفت." ما عملاً غافلگیر شده بودیم.»

چگونه می‌توان مدلی را که به نظر می‌رسد می‌داند در حال ارزیابی است، به‌عنوان یک بهینه‌ساز بی‌رحم اهداف عمل می‌کند و قادر به تقلب و دروغ‌گویی درباره آن است، به‌طور دقیق آزمایش کرد؟ پژوهشگران این موضوع را یکی از بزرگترین معضلات تاریخ می‌دانند.

با توجه به تمامی این موارد، تعیین دقیق چارچوب مقررات ایمنی بسیار دشوار است.

اعمال محدودیت بر توسعه هوش مصنوعی

نگرانی سوم به ضرورت ارزیابی‌های اجباری توسط شخص ثالث (Third-party) پیش از عرضه عمومی مدل‌ها بازمی‌گردد؛ فرایندی که هرچند دشوار، اما کاملاً ضروری است.

مکس تگمارک (Max Tegmark)، فیزیکدان دانشگاه MIT، اغلب اشاره می‌کند که امروزه افتتاح یک ساندویچ‌فروشی سخت‌تر از راه‌اندازی یک مدل زبانی جدید و آزمایش‌نشده است؛ واقعیتی که آشکارا غیرمنطقی است. بهترین الگو برای این وضعیت، نحوه قانون‌گذاری در شرکت‌های داروسازی است. در گذشته امکان فروش هر دارویی با هر ادعایی به افراد وجود داشت، اما اکنون مراحل متعددی از آزمایش‌ها و کارآزمایی‌ها پیش از عرضه داروهای جدید به عموم طی می‌شود.

با این وجود، پیش‌بینی آینده بسیار چالش‌برانگیز است. ائتلاف گسترده و رو به رشدی خواستار اقدام جدی در این زمینه هستند. برخی توقف کامل روند توسعه را پیشنهاد می‌دهند و عده‌ای دیگر خواهان ممنوعیت AGI هستند؛ هرچند هنوز هیچ توافق نظر جامعی درباره معنای دقیق «هوش مصنوعی جامع» وجود ندارد. داریو آمودی (Dario Amodei)، مدیرعامل Anthropic، خواهان «کنترل سرعت در مرزهای فناوری» است که برخی استدلال می‌کنند این رویکرد صرفاً در راستای حفظ برتری رقابتی خود Anthropic است.

سناتور برنی سندرز (Bernie Sanders) از شرکت‌های هوش مصنوعی می‌خواهد «ساخت ماشین‌هایی که انسان قادر به کنترل آن‌ها نیست را متوقف کنند.» اینکه آیا این ائتلاف‌ها واقعاً می‌توانند پیش از آنکه فناوری از کنترل خارج شود، قوانین موثری وضع کنند، هنوز یک پرسش بدون پاسخ است. قانون‌گذاری نیز همواره با عوارض جانبی پیش‌بینی‌نشده‌ای همراه است؛ به‌ویژه اگر با عجله انجام شود. چه اتفاقی می‌افتد اگر آزمایشگاه‌های برتر تصمیم بگیرند قدرتمندترین مدل‌های خود را هرگز به‌طور عمومی منتشر نکنند؟ شاید آن‌ها بهترین سیستم‌هایشان را مخفیانه در داخل شرکت نگه دارند تا استراتژی‌های معاملاتی را اجرا کنند، بازارها را دستکاری کنند و قراردادها را به نتیجه برسانند، بدون آنکه کسی متوجه شود. چنین سناریویی نیز به‌هیچ‌وجه مطلوب نخواهد بود.

در نهایت، هیچ‌کس با قطعیت نمی‌داند که سرانجام این مسیر چه خواهد بود. اما همین عدم قطعیت، نگرانی اصلی است که می‌تواند به بی‌اقدامی منجر شود. با این حال، افزایش توجه عمومی و تخصصی به این معضل نشان می‌دهد که هنوز فرصتی برای اقدام وجود دارد. اما تا زمانی که گام‌های عملی در این راستا برداشته نشود، احتمال وقوع خطرات جدی، هرچند کمتر از گذشته، همچنان به‌عنوان سایه‌ای سنگین بر سر آینده بشریت باقی خواهد ماند.