مرز بعدی هوش مصنوعی هوش بالاتر نیست، اعتماده! چطور کنترل این غول‌ها از دست نره؟

آزمایشگاه‌ها حالا میگن باید ترمز سرعت رو کشید و قانون وضع کرد؛ اما سوال سخت‌تر اینه: وقتی این سیستم‌ها از آزمایشگاه بیان بیرون و جون آدم‌ها بهشون سپرده بشه، چی میشه؟

این روزها هوش مصنوعی حسابی جای پای خودش رو تو دنیای کسب‌وکار سفت کرده و تقریباً همه جا دیده میشه. اما هر چقدر استفاده از این فناوری سرعت می‌گیره، یک علامت سوال بزرگ و حل‌نشده پررنگ‌تر میشه: اعتماد. مدیران و توسعه‌دهندگان تازه متوجه شدن که برای جلب اعتماد کاربرها، باز کردن راه نوآوری و فرار از جریمه‌های سفت‌وسخت قانونی، هوش مصنوعی باید قابل توضیح، تحت کنترل و کاملاً شفاف باشه.

اوایل ماه سپتامبر بود که سه چهره مطرح در ساخت پیشرفته‌ترین مدل‌های هوش مصنوعی دنیا علناً اعتراف کردن که فقط دویدن با حداکثر سرعت، دیگه استراتژی درستی نیست و خطرات زیادی داره.

داریو آمودی، مدیرعامل شرکت آنتروپیک (Anthropic)، تو مقاله‌ای با عنوان «باید سرعت پیشرفت رو تنظیم کنیم» نوشت: «ما باید سرعت ارتقای قابلیت‌های مدل‌های هوش مصنوعی رو پایین بیاریم.» اون تاکید کرد که حتی با این کار هم سرعت پیشرفت همچنان سرسام‌آور به نظر می‌رسه، اما «باید از این فرصتی که با کاهش سرعت به دست میاریم عاقلانه استفاده کنیم.» از نظر آمودی، موثرترین راه برای مهار این سرعت، وضع قوانین مشخص و یکدستی هست که دامن همه شرکت‌های هوش مصنوعی پیشرو در آمریکا رو بگیره.

در همون هفته، سم آلتمن، مدیرعامل اوپن‌ای‌آی (OpenAI) هم به این حرف‌ها واکنش نشون داد و نوشت: «من با داریو موافقم که باید سرعت توسعه رو تنظیم کنیم. تعهد به دادن دسترسی کامل به ارزیاب‌های مستقل و بی‌طرف، درست مثل کارمندهای خود شرکت، ایده فوق‌العاده‌ایه و ما هم دقیقاً همین کار رو انجام میدیم.»

چند روز بعد، دمیس هاسابیس، مرد شماره یک گوگل دیپ‌مایند (Google DeepMind) هم وارد گود شد و نوشت: «مقاله داریو دقیقاً دست گذاشته رو نقطه درست. جزئیاتش هنوز کار داره، اما مسیر کلی برای مدیریت این برهه حساس کاملاً درسته. دقیقاً به همین خاطر بود که ما اخیراً پیشنهاد راه‌اندازی یک نهاد استانداردگذاری فراگیر برای مدل‌های پیشرفته هوش مصنوعی رو مطرح کردیم.»

اما پشت این هیاهوها یک ایراد اساسی وجود داره: هیچ‌کدوم از این مدیران نگفتن که کاربر کجای این سیستم‌ها می‌تونه ببینه هوش مصنوعی دقیقاً چی می‌دونه، اجازه انجام چه کارهایی رو داره و مهم‌تر از همه، چه کسی این تغییرات رو تایید کرده! کاهش سرعت فقط مشخص می‌کنه یک مدل چه زمانی منتشر بشه؛ اما وقتی پای ورود این فناوری به یک خونه، بیمارستان یا سیستم‌هایی در میون باشه که مستقیم با ذهن و روان انسان سروکار دارن، ماجرا کاملاً فرق می‌کنه.

یک نفر بالاخره باید مشخص کنه که هوش مصنوعی اجازه داره چه چیزهایی رو یاد بگیره، کدوم کارها به اجازه مستقیم نیاز دارن، سراغ چه خط قرمزهایی هرگز نباید بره و چه چیزهایی تغییر کرده. فیلترهای ساده شاید بتونن جلوی نمایش یک جمله نامناسب رو بگیرن، اما هرگز نمی‌تونن روی توصیه‌های پزشکی درباره بدن بیمار یا هشدارهای وضعیت خواب نظارت کنن. یک آزمایشگاه می‌تونه فرآیند آموزش مدل رو کندتر کنه و یک نهاد نظارتی هم می‌تونه گزارش‌های فنی رو بررسی کنه؛ اما یک خانواده نگران یا یک بیمار در تخت بیمارستان، به چیزی فراتر از این‌ها نیاز دارن.

آیزاک آسیموف در سال ۱۹۴۲ سه قانون معروف رباتیک رو مطرح کرد: به انسان آسیب نرسان، از دستورات اطاعت کن و از بقای خودت دفاع کن (مگر اینکه با دو قانون اول در تضاد باشه). جالب اینجاست که داستان‌های آسیموف همگی درباره شکست خوردن همین قوانین بودن! قوانین روی کاغذ مشخصن، اما سوال اینجاست: آیا اصلاً فناوری خاصی وجود داره که بتونه واقعاً این قوانین رو در عمل اجرا کنه؟

آیا واقعاً میشه به هوش مصنوعی اعتماد کرد؟

به گفته شرکت کلوور ای‌آی (Klover AI) که در حوزه سیستم‌های تصمیم‌گیری خودکار فعالیت می‌کنه: «گسترش سریع هوش مصنوعی در سازمان‌ها یک دوراهی بزرگ برای مدیران به وجود آورده: چطور بدون از دست دادن اعتماد مشتری و آسیب به برند، از سرعت و کارایی فوق‌العاده این ابزارها استفاده کنیم؟ اعتماد به هوش مصنوعی به معنی باور چشم‌بسته سیستم نیست؛ بلکه یعنی بتونیم بررسی و اثبات کنیم که سیستم منصفانه، شفاف، پاسخگو، امن و قابل ممیزی کار می‌کنه.»

در چنین ساختاری، این انسان‌ها هستن (نه خود مدل) که قوانین بازی رو می‌نویسن و کارهای حساس مثل لیست داروها یا دستورالعمل‌های درمانی رو با اصول قبلی تطبیق میدن. باید دیواری محکم بین مدل و عواقب کارش قرار بگیره؛ مکانیزمی که مشخص کنه سیستم چه چیزهایی رو یاد بگیره و قبل از وقوع یک اقدام خطرناک، اون رو تست کنه. اطلاعات و حقایقی که سیستم بر اساس اون‌ها تصمیم می‌گیره باید خارج از خود مدل و با ذکر منبع ذخیره بشن تا اگر یک فکت اشتباه بود، بشه بدون نیاز به آموزش مجدد کل مدل، اون رو پاک کرد؛ ساختاری که حتی با ارتقای هسته هوش مصنوعی هم بدون تغییر باقی بمونه.

اگر ابزارهای فعلی بازار رو بر اساس پاسخ به سوالاتشون دسته‌بندی کنیم، درک کارکردشون ساده‌تر میشه. بعضی از اون‌ها روی رعایت قوانین سازمانی تمرکز دارن؛ مثلاً پلتفرم‌هایی مثل Credo AI، Holistic AI و Arthur، سیاست‌های داخلی شرکت رو به فیلترهایی برای مدیریت ریسک، بررسی شواهد و اقدام بعدی دستیار هوشمند تبدیل می‌کنن تا جلوی کارهای پرخطر رو بگیرن، متوقفش کنن یا اجازه انجام بدن.

با این حال، یک استارتاپ نوآور به اسم کامپایلنس (Compilence) معتقده مسئله اصلی ترمز اضطراری هوش مصنوعی هنوز حل نشده. در سیستم این شرکت، یک ناظر انسانی دقیقاً مشخص می‌کنه مدل اجازه جذب چه اطلاعاتی رو داره. کارنامه‌ای از تمام حقایق تاییدشده همواره در دسترسه و میشه یک فکت غلط رو در کسری از ثانیه حذف کرد، بدون اینکه نیاز باشه کل مدل از اول بازآموزی بشه.

شرط اصلی اعتماد به هوش مصنوعی اینه: آیا سیستم می‌تونه جلوی یک اقدام واقعاً خطرناک رو بگیره یا فقط کلمات نامناسب رو سانسور می‌کنه؟ آیا کاربر می‌تونه ببینه چه چیزهایی به خورد مدل داده شده و اطلاعات غلط رو پس بگیره؟ کامپایلنس مدعیه که ساختار کاملی از دروازه‌های امنیتی و کتابچه‌های قوانین برای پاسخ به این نیازها طراحی کرده است.

در این سازوکار، انسان‌ها قوانین رو با زبانی به نام ELIA می‌نویسن. دروازه‌ای به اسم ARC تصمیم می‌گیره مدل چه داده‌هایی رو جذب کنه و قبل از اجرای هر اقدام حساس، بهش مجوز بده یا جلوی کار رو بگیره. در این سیستم اگر دو بار داده‌های یکسانی به مدل بدید، نتیجه تصمیم دقیقاً مشابه خواهد بود؛ همچنین تغییر در یک بخش از قوانین هیچ تداخلی با بقیه قوانین ایجاد نمی‌کنه. ساختاری به اسم Tissue هم اطلاعات تاییدشده رو بیرون از مدل و همراه با منبع نگهداری می‌کنه تا امکان اصلاح دستی وجود داشته باشه؛ مشکلی که امروز خیلی از شرکت‌ها در پیاده‌سازی حافظه دائمی هوش مصنوعی باهاش دست‌وپنجه نرم می‌کنن.

دکتر ولودیمیر تکاچ، استاد سابق دانشگاه MIT و هم‌بنیان‌گذار و مدیرعامل کامپایلنس در این باره میگه: «من همیشه از مردم یک سوال می‌پرسم: آیا حاضرید زندگی خودتون یا فرزندانتون رو به هوش مصنوعی امروزی بسپارید؟ من که هرگز چنین کاری نمی‌کنم؛ نه به این خاطر که این سیستم‌ها به اندازه کافی باهوش نیستن، بلکه باهوش‌تر شدن اصلاً صورت‌مسئله درستی نیست! فرض کنید دیشب هوش مصنوعی شما رفتارش تغییر کرده؛ چه کسی این تغییر رو تایید کرده؟ در تقریباً تمام سیستم‌های امروزی، هیچ‌کس! ما مدل‌های توانمندتر می‌خوایم، اما چیزی که نمی‌پذیریم اینه که ماشین سرِ خود منبع دانش، قوانین و اختیارات خودش بشه. مرزها رو انسان باید بنویسه، انسان باید بتونه بخونه و ماشین فقط اون‌ها رو اجرا کنه؛ دقیقاً با همین اولویت!»

همین اولویت‌بندی، رمز اصلی ماجراست؛ اینجا انسان‌ها مرزها رو تعیین می‌کنن، انسان‌ها بهش اشراف دارن و ماشین بدون دخل و تصرف اون‌ها رو اجرا می‌کنه. در ابتدا شاید اینطور به نظر می‌رسید که با یک پروژه تحقیقاتی صرف طرفیم، اما آنچه پیاده‌سازی شده قابلیتی عملیاتی و آماده استفاده است.

اگر بخوایم این موضوع رو در یک سناریوی پزشکی و درمانی بررسی کنیم، سیستم اطلاعات مربوط به برنامه دارویی، آلرژی‌ها و حتی نقشه خونه بیمار رو نگهداری می‌کنه. اگر دستگاه جدید یا پرستار جدیدی وارد ماجرا بشه، دستوراتش حتماً باید از فیلتر این قوانین رد بشه. دروازه امنیتی تصمیم می‌گیره ربات چه چیزهایی رو ثبت کنه؛ طوری که اصلاً نیاز نباشه فیلم‌های ضبط‌شده از محیط خونه خارج بشن. در عین حال کارهایی مثل باز کردن قفل‌ها یا تماس با اورژانس نیازمند تاییدیه‌های دقیق هستن. در واقع ماشین حق داره مشاهده کنه، توضیح بده و پیشنهاد بده، اما هرگز نمی‌تونه حدس و گمان خودش رو به مجوز تبدیل کنه.

در نمونه‌ای دیگر، شرکتی در حوزه فناوری زیستی به نام گابریل ای‌آی (Gabriele AI) از ترکیب نور و صدای تعاملی با عصب‌شناسی بازساختی و ایجنت‌های هوش مصنوعی برای بهبود طول عمر و عملکردهای شناختی خبر داده است. این فناوری حساسیت بسیار بالایی دارد؛ زیرا الگوهای نوری و صوتی می‌توانند سلول‌های بافت مغز را تحریک کنند تا بدون نیاز به تزریق دارو یا سلول‌های بنیادی، پروتئین‌های درمانی ترشح کنند. اما کوچک‌ترین اشتباه در همین دستورات می‌تواند منجر به مرگ سلول شود! اگر کنترل این کار به سیستمی با حدس و گمان سپرده شود، فاجعه به بار می‌آید؛ به همین خاطر آن‌ها تصمیم گرفتن ساختار خود را بر پایه معماری کامپایلنس بنا کنند.

طبق گزارش این شرکت، ورودی‌های یکسان همواره به خروجی‌های کاملاً یکسان منجر شده و ویرایش یک بخش، آسیبی به عملکرد بقیه بخش‌ها نزده است. البته این‌ها نتایج تست‌های داخلی شرکت است، نه ممیزی‌های رسمی بیرون. در آزمایشی که توسط مدیر ارشد فناوری این شرکت روی ده مدل مختلف از اوپن‌ای‌آی، آنتروپیک و گوگل انجام شد، مدل‌ها با دیدن تنها یک فهرست مطالب شروع به نوشتن فصل‌های کتاب کردن و بین ۸ تا ۲۸ درصد دچار توهم (هذیان هوش مصنوعی) شدن. اما وقتی پاسخ‌ها منحصراً به متن سند محدود شد، درصد خطا به حدود ۳ درصد و در ایده‌آل‌ترین حالت به ۰.۸ درصد کاهش پیدا کرد. در واقع مدل اجازه خیال‌پردازی داره، اما دروازه امنیتی باید بلافاصله هشدار بده که فلان ادعا در اسناد رسمی ثبت نشده است.

شرکت OmGeneum، از شرکای آسیایی این پروژه، خیلی زود به سراغ استفاده از این فناوری رفت. جیمز رایان، مدیرعامل این مجموعه در پاسخ به چرایی این تصمیم می‌گوید:

«ژاپن یکی از نخستین جوامعی خواهد بود که ربات‌های مراقبت در آن یک نیاز مبرم هستند، نه ابزاری تفننی. تصور کنید رباتی در توکیو از مادر شما مراقبت می‌کند. یک شب شرکتی در قاره‌ای دیگر آپدیتی می‌فرستد و رفتار ربات عوض می‌شود؛ در حالی که هیچ‌کس نمی‌داند چه چیزی تغییر کرده، چرا تغییر کرده و با اجازه چه کسی بوده است! هیچ خانواده ژاپنی این موضوع را نمی‌پذیرد و اساساً هیچ خانواده‌ای در هیچ جای دنیا نباید زیر بار چنین چیزی برود. آنچه ما را به حمایت از این معماری ترغیب کرد این بود که ارزش‌های بومی مثل رضایت شخصی و اختیارات خانواده را قابل کنترل و راستی‌آزمایی می‌داند، نه اینکه همه چیز را در مدل‌های آموزش‌دیده دیگران حل کند.»

خانواده‌ای در توکیو یا بیماری که دستگاهی هوشمند به ذهنش متصل است، منتظر کُند شدن مسابقه شرکت‌ها نیستند؛ آن‌ها فقط می‌خواهند بدانند چه کسی تغییرات رفتار سیستم را تایید کرده است. غول‌های هوش مصنوعی حق دارند که از تنظیم سرعت و ورود ناظران خارجی صحبت کنند، اما حتی یک مدل با سرعت توسعه کمتر هم می‌تواند یک‌شبه تغییر رفتار دهد.

حقیقت تازه این است که تعیین مرزها توسط انسان، اجرای مو‌به‌مو توسط ماشین و امکان بازبینی تصمیم‌ها دیگر یک آرزو نیست؛ این قابلیت همین حالا در دسترس است. چنین سیستم‌هایی به زودی بخشی از زندگی روزمره ما خواهند شد، اما بهترین زمان برای تصمیم‌گیری و خط‌کشی، قبل از ارسال به‌روزرسانی‌هاست؛ تنها در این صورت است که می‌توانیم در دنیایی زندگی کنیم که واقعاً بشود به هوش مصنوعی اعتماد کرد.

منابع:

داریو آمودی، «باید ترمز مرزهای هوش مصنوعی را کنترل کنیم»، ۱۲ سپتامبر ۲۰۲۶ (لینک مقاله).

سم آلتمن، پست در شبکه اجتماعی ایکس، ۱۲ سپتامبر ۲۰۲۶ (لینک پست). دمیس هاسابیس، پست در شبکه اجتماعی ایکس، ۱۳ سپتامبر ۲۰۲۶ (لینک پست).

یوری چودینوف، «مطالعه نشان می‌دهد مدل‌های زبانی می‌توانند اسناد را از متادیتا بازسازی کنند»، هکرنون، ۲۶ مارس ۲۰۲۶ (لینک مقاله)؛ آزمایش ده مدل از آنتروپیک، اوپن‌ای‌آی و گوگل: توهم بین ۸ تا ۲۸ درصد هنگام ارائه صرف فهرست مطالب، کاهش به حدود ۳ درصد پس از محدود شدن پاسخ‌ها به سند و در بهترین حالت ۰.۸ درصد.