مهار هوش مصنوعی بدون کنترل منابع اطلاعاتی آن ممکن نیست

یاکوب پاچوکی، دانشمند ارشد OpenAI، در تاریخ ۶ سپتامبر هشداری جدی مطرح کرد.

او در مقاله‌ای با عنوان «ذهن بیگانه» (An Alien Mind) استدلال کرد که تکنیک‌های کنونی هم‌ترازی و نظارت، به‌زودی در برابر شتاب سرسام‌آور هوش ماشینی ناکارآمد خواهند شد. او هم‌چنین آینده‌ای را ترسیم کرد که در آن هوش مصنوعی نقشی فزاینده در ارتقای خود ایفا می‌کند و در نتیجه، فرصت لازم برای نظارت انسانی و واکنش نهادهای نظارتی به حداقل می‌رسد.

بخش عمده‌ای از پژوهش‌های ایمنی هوش مصنوعی بر رفتار سیستم‌ها تمرکز دارند؛ برای نمونه، اینکه یک سیستم مجاز به انجام چه کارهایی است، اقدامات آن چگونه پایش می‌شود و در چه مراحلی تأیید نهایی انسان الزامی است. با این حال، هر کنش و تصمیمی یک گام پیش‌تر آغاز می‌شود: با داوری درباره اینکه کدام اطلاعات شایسته باور و پذیرش هستند.

این گام بنیادین از اهمیتی فوق‌العاده برخوردار است.

اقدام هوش مصنوعی بر پایه اطلاعاتی با منشأ مبهم

پیش از آنکه هوش مصنوعی پرداختی انجام دهد، کدهای یک نرم‌افزار را بازنویسی کند یا تصمیمی راهبردی پیشنهاد دهد، ابتدا تصویری جامع از جهان پیرامون خود می‌سازد. این تصویر می‌تواند برگرفته از نتایج جستجو، اسناد سازمانی، مقاله‌های علمی و حتی محتوای تولیدشده توسط سایر سیستم‌های هوش مصنوعی باشد.

وب از ابتدا برای چرخش و بازنشر سریع اطلاعات طراحی شده است. در این فضا داده‌ها به‌راحتی دست‌به‌دست می‌شوند، در حالی که پیشینه و اصالت آن‌ها با انتقال از رسانه‌ای به رسانه دیگر کم‌رنگ می‌شود. یک ادعا ممکن است کار خود را از یک مقاله پژوهشی آغاز کند، سپس در قالب یک خبر بازتاب یابد، در ادامه به یک پست وبلاگی خلاصه شود و ماه‌ها بعد در قالب متنی در یک انجمن اینترنتی سر درآورد. زمانی که هوش مصنوعی به چنین گزاره‌ای می‌رسد، ردیابی مسیر رو به عقب تا رسیدن به شواهد اولیه بسیار دشوار خواهد بود.

در این فرآیند، اعتبار منابع نیز یکدست و فشرده می‌شود؛ به‌طوری که یک پژوهش داوری‌شده، یک بیانیه شرکتی و یک پیام بی‌نام‌ونشان، همگی در قالب متن به سیستم وارد می‌شوند. سیستم هوش مصنوعی می‌تواند این ورودی‌ها را رتبه‌بندی کرده و در قالب پاسخی آراسته ترکیب کند، بدون آنکه کاربر تفاوت چندانی میان شواهد مستند، ادعاهای تبلیغاتی و مطالب تکراری احساس کند. وجود اختلاف‌نظر میان منابع، این پیچیدگی را دوچندان می‌کند.

منابع معتبر همواره در حوزه‌هایی مانند امور مالی، پزشکی، سیاست و فناوری‌های نوظهور به نتایج متفاوتی دست می‌یابند. از سوی دیگر، مدل‌های هوش مصنوعی معمولاً برای ارائه پاسخی سرراست و مفید پاداش می‌گیرند و همین امر آن‌ها را به سمت آشتی‌دادن دیدگاه‌های متناقض در قالب یک جمله سوق می‌دهد. به این ترتیب، عدم قطعیت دقیقاً در جایی که باید به وضوح نمایش داده شود، به‌سادگی پاک و پنهان می‌گردد.

پیامدهای این چالش زمانی به اوج رسید که هوش مصنوعی توانایی اقدام و عمل مستقل پیدا کرد. یک عامل هوشمند می‌تواند معامله‌ای ثبت کند، خریدی را به تصویب برساند، ساختار یک نرم‌افزار را تغییر دهد یا به نمایندگی از یک شخص پیامی بفرستد؛ از این رو، یک ادعای غیرقطعی می‌تواند مبنای اقدامی بازگشت‌ناپذیر در دنیای واقعی شود.

وابستگی نظارت انسانی به شواهد شفاف‌تر

اثر‌بخشی نظارت انسانی به این بستگی دارد که ناظر به اطلاعاتی کامل‌تر یا ابزاری مطمئن برای بررسی منابع مورد استفاده هوش مصنوعی دسترسی داشته باشد. در بسیاری از موارد، ناظر انسانی به همان وب‌سایتی دسترسی دارد که هوش مصنوعی در آن به جستجو پرداخته است، اما با سرعتی به‌مراتب کمتر. در شرایطی که هوش مصنوعی می‌تواند هزاران صفحه را بررسی کند، فرد ناظر تنها با یک خلاصه و چند لینک محدود سر و کار دارد. همگام با افزایش توانایی مدل‌ها، این خطر وجود دارد که نظارت انسانی به‌جای ارزیابی مستقل، به یک امضای تشریفاتی تقلیل یابد.

پاچوکی اشاره می‌کند که با پیچیده‌تر شدن استدلال‌ها و افزایش توانایی هوش مصنوعی در دستکاری فرآیند استدلال درونی خود، تکیه OpenAI بر نظارت از طریق زنجیره تفکر (chain-of-thought) رو به کاهش است. او خواستار تعیین آستانه‌های ایمنی مشخصی است که بتوان آن‌ها را از طریق حسابرسان مستقل، سازمان‌های دولتی یا نهادهای بین‌المللی به اجرا گذاشت.

این تدابیر حفاظتی بر توانمندی و رفتار سیستم نظارت دارند؛ اما نظارت پایدار نیازمند یک گزارش شواهد دقیق است که نشان دهد چه اطلاعاتی به نتیجه نهایی منجر شده، هر ادعا از کجا سرچشمه گرفته، منبع تا چه اندازه قابل اعتماد بوده و در چه بخش‌هایی اختلاف‌نظر معتبر میان متخصصان وجود داشته است. بدون چنین سابقه‌ای، ناظر انسانی عملاً پاسخ نهایی را قضاوت می‌کند، نه شواهدی که پشتوانه آن پاسخ بوده‌اند.

میراث شکننده وب برای سیستم‌های هوش مصنوعی

هوش مصنوعی فرهنگی از تبادل اطلاعات را به ارث برده که بر پایه سرعت، گستردگی انتشار و بازتولید بنا شده است. موتورهای جستجو، فیدهای شبکه‌های اجتماعی و سیستم‌های بازنشر محتوا دسترسی را بی‌اندازه سریع کرده‌اند، اما هم‌زمان جهانی پدید آورده‌اند که در آن یک گزاره واحد ممکن است صدها بار تکرار شود، در حالی که ریشه تمام آن‌ها به یک منبع مبهم و تأییدنشده بازمی‌گردد.

هوش مصنوعی مولد این معضل را تشدید می‌کند؛ زیرا سیستم‌های جدید محتوایی تولید می‌کنند که مدل‌های بعدی همان را به‌عنوان داده آموزشی مصرف خواهند کرد. بدین ترتیب، یک ادعای ضعیف تولید می‌شود، در سراسر اینترنت جمع‌آوری و خلاصه می‌گردد و آن‌قدر دست‌به‌دست می‌شود که تکرار مکرر، ظاهری از اجماع و واقعیت به آن می‌بخشد.

این موضوع بحرانی در اعتبارسنجی منشأ اطلاعات به وجود می‌آورد که عواقب آن تصاعدی است. با هر نسل جدید از بازتولید داده‌ها، گزاره‌ها از شواهد اولیه‌ای که آن‌ها را پدید آورده‌اند دورتر می‌شوند. هنگامی که یک عامل خودکار چنین اطلاعاتی را معتبر تلقی کند، زنجیره داده‌ها به زنجیره تصمیم‌گیری و اقدام متصل می‌شود. این نقیصه برای کاربران عادی شاید در قالب یک پیشنهاد نامناسب بروز کند، اما برای یک نهاد مالی، شرکت بیمه یا سازمان دولتی می‌تواند سرمایه‌ها، دسترسی‌ها، امنیت و خدمات عمومی را به خطر بیندازد.

ضرورت استقرار نظام اصالت‌سنجی برای هوش مصنوعی خودمختار

بخش امور مالی را در نظر بگیرید؛ فعالیت‌های جدی مالی به اسنادی متکی هستند که مشخص می‌کنند چه کسی، تحت چه اختیاراتی، با چه شرایطی و همراه با چه ردپای حسابرسی دست به اقدام زده است. نهادهای مالی هزینه‌های سنگینی را صرف ثبت این سوابق می‌کنند، زیرا اعتماد صرفاً با یک نتیجه ظاهراً موجه حاصل نمی‌شود. هوش مصنوعی خودمختار نیز به نظم و انضباطی مشابه در زمینه منابع اطلاعاتی نیاز دارد.

هر ادعایی باید شناسنامه اصالتی به‌همراه داشته باشد که در طول کپی‌شدن‌ها و تغییرات متنی پابرجا بماند. ناظر انسانی یا عامل هوشمند باید بتواند گزاره را تا نقطه پیدایش آن ردیابی کند، شواهد پشت آن را بسنجد و ببیند که متن در طول مسیر دستخوش چه تغییراتی شده است. علاوه بر این، اختلاف‌نظرهای تخصصی و معتبر نیز باید شفاف باقی بمانند.

در مواردی که منابع معتبر دیدگاه‌های متفاوتی دارند، سیستم باید تمام دیدگاه‌های رقیب و ضریب اطمینان به هر یک را ثبت کند. برای یک عامل خودکار، وجود عدم قطعیت می‌تواند هشداری برای پژوهش بیشتر، جلب تأیید ناظر انسانی یا اتخاذ یک مسیر محتاطانه‌تر باشد.

پاسخگویی نیز باید همگام با اطلاعات جابه‌جا شود. ادعایی که از سوی یک نهاد مشخص همراه با شواهد پشتیبان مطرح می‌شود، باید رفتاری متفاوت از یک ادعای بدون منبع داشته باشد که صرفاً در ده‌ها صفحه اینترنتی کپی شده است. هدف این است که هوش مصنوعی پیش از تخصیص منابع یا اقدام به نیابت از دیگران، درکی عمیق‌تر از کیفیت شواهد داشته باشد.

حکمرانی هوش مصنوعی باید در سطحی مشترک شکل گیرد. استانداردهای تعیین اصالت، روش‌های راستی‌آزمایی و قواعد پاسخگویی نیازمند بازبینی مستقل و مشارکت چندین نهاد معتبر هستند و نباید صرفاً به سلیقه یا رویکرد یک شرکت توسعه‌دهنده محدود بمانند.

جمع‌بندی

پاچوکی استدلال می‌کند که تکنیک‌های فعلی هم‌ترازی و نظارت ممکن است به‌زودی سرعت مقیاس‌پذیری مسئولانه ابزارهای هوش مصنوعی را در آزمایشگاه‌ها محدود کنند؛ او حتی احتمال می‌دهد که شرکت‌ها تا زمان تعریف آستانه‌های ایمنی مشترک، خودخواسته روند توسعه را کند کنند. او هم‌چنین هشدار می‌دهد که تداوم این مسیر می‌تواند هوش مصنوعی را وارد مرحله «خوداصلاحی بازگشتی» کند؛ نقطه‌ای که در آن بخش عمده‌ای از پیشرفت و ارتقای مدل‌ها توسط خود سیستم‌ها هدایت می‌شود.

این وضعیت، وظیفه‌ای حیاتی پیش روی تمام شرکت‌های سازنده سیستم‌های خودمختار قرار می‌دهد: پیش از هرگونه اقدامِ یک عامل هوشمند، باید دقیقاً مشخص شود که مدل چه چیزهایی را می‌داند و آن آگاهی باید قابلیت حسابرسی و راستی‌آزمایی داشته باشد.

حفظ تدابیر رفتاری همچنان ضروری است؛ همان‌طور که سطوح دسترسی، حسابرسی‌ها و تاییدیه‌های انسانی نقشی حیاتی دارند. با این حال، ارزش این ابزارها زمانی اوج می‌گیرد که اطلاعاتِ زیربنای هر تصمیم، دارای شناسنامه اصالت، زمینه مشخص و قابلیت پاسخگویی باشند. بنابراین فاز بعدی ایمنی هوش مصنوعی با شواهدی آغاز می‌شود که عامل هوشمند دریافت می‌کند، اعتباری که برای آن‌ها قائل می‌شود و عدم قطعیتی که پیش از هر اقدام در نظر می‌گیرد.

خودمختاریِ بناشده بر پایه اطلاعات قابل راستی‌آزمایی، مبنای محکمتری برای کنترل در اختیار انسان‌ها قرار می‌دهد. در مقابل، تکیه بر اطلاعات مبهم سبب می‌شود ناظران تنها تصمیماتی را قضاوت کنند که پایه‌ها و شواهد زیرین آن‌ها به‌سختی قابل بررسی است.

پاچوکی به درستی هشدار می‌دهد که فرصت برای آمادگی ممکن است بسیار کوتاه باشد. صنعت هوش مصنوعی باید از این فرصت محدود استفاده کند تا سیستم‌هایی بسازد که بتوانند منشأ دانش خود را اثبات کنند؛ آن هم پیش از آنکه برای تأثیرگذاری و اقدام در دنیای واقعی به آن‌ها اعتماد کامل شود.