دیده‌بان‌های خاموش وارد گود شدند؛ غول‌های هوش مصنوعی زیر تیغ ارزیاب‌های مستقل ایمنی

داریو آمودی، هم‌بنیان‌گذار و مدیرعامل شرکت آنتروپیک (Anthropic)، در جریان نشست مشترک مدیران ارشد فناوری با دونالد ترامپ، رئیس‌جمهور آمریکا درباره آینده هوش مصنوعی در کاخ سفید، به سخنان ترامپ در جمع خبرنگاران گوش می‌دهد (۲۹ سپتامبر ۲۰۲۶).

عکس: کنت نیشیمورا | خبرگزاری فرانسه (AFP) | گتی ایمیجز

تا همین دو ماه پیش، موسسات مستقل ارزیابی ایمنی در گوشه‌ای دنج و بی‌سروصدا از صنعت چند تریلیون دلاری هوش مصنوعی روزگار می‌گذراندند؛ اما حالا ورق برگشته و درست در روز‌هایی که هیاهوی این فناوری به اوج رسیده، همه از آن‌ها می‌خواهند برای نجات این صنعت به میدان بیایند. 

در حالی که آنتروپیک و اوپن‌ای‌آی (OpenAI) در مرکز یک جدال داغ و نفس‌گیر گرفتار شده‌اند—جدالی بر سر اینکه آیا واقعاً می‌توانند هم‌زمان با رشد سرسام‌آور کسب‌وکارشان، مدل‌های پیشرفته هوش مصنوعی را مهار و ایمن نگه دارند یا نه—حالا دست به دامن چند گروه مستقل و جمع‌وجور شخص ثالث مثل METR (تحقیقات ارزیابی مدل و تهدیدات)، آپولو ریسرچ (Apollo Research) و ترنسلوس (Transluce) شده‌اند تا به دادشان برسند.

این ارزیاب‌ها که عمدتاً به شکل سازمان‌های غیرانتفاعی فعالیت می‌کنند، هنوز در حال تثبیت جایگاه خود در صنعتی هستند که سرمایه‌ها با ارقام نجومی و تاریخی به سمتش سرازیر شده و مدل‌های جدیدش با سرعتی باورنکردنی معرفی می‌شوند. وظیفه اصلی این تیم‌ها ارزیابی توانایی‌ها و خطرات مدل‌های هوش مصنوعی و به صدا درآوردن زنگ خطر در مواقعی است که رفتارهای سرکش یا مخربی از این فناوری سر می‌زند.

در غیاب قوانین سفت‌وسخت فدرال در آمریکا، اهمیت این ارزیاب‌ها ناگهان چندین برابر شده است. ماه گذشته داریو آمودی، مدیرعامل آنتروپیک، قول داد ارزیاب‌های مستقل را مستقیماً در دل تیم‌های شرکتش مستقر کند؛ تصمیمی که سم آلتمن، مدیرعامل OpenAI هم بلافاصله از آن استقبال کرد. دونالد ترامپ و بخش عمده‌ای از غول‌های فناوری آمریکا هم پشت این ایده ایستادند. با این حال، هنوز سوال‌های بی‌جواب بزرگی روی میز مانده است: هزینه این گروه‌های مستقل را چه کسی می‌دهد؟ آن‌ها تا چه سطحی به کدهای محرمانه و سیستم‌ها دسترسی خواهند داشت؟ و سازوکار گزارش‌دهی آن‌ها در نهایت چطور خواهد بود؟

سورش ونکاتاسوبرامانیان، استاد علوم کامپیوتر دانشگاه براون، در گفت‌وگویی تأکید می‌کند: «تا حد زیادی، مشکل مثل همیشه پول است. چه کسی قرار است هزینه کار این موسسات را بپردازد؟ چطور قرار است از آن‌ها حمایت شود؟ شما برای این کار به یک اکوسیستم پایدار و مدل کسب‌وکار ماندگار نیاز دارید.»

در حال حاضر، آنتروپیک، OpenAI و شرکای زیرساختی‌شان که بیش‌ترین سود را از تب تند هوش مصنوعی می‌برند، خودشان دارند قوانین بازی را می‌نویسند. منتقدان می‌گویند این کار درست مثل این است که از بزرگ‌ترین بانک‌ها بخواهیم خودشان جلوی بحران مالی بعدی را بگیرند، یا به شرکت‌های داروسازی اجازه دهیم بدون تأیید سازمان غذا و دارو داروهایشان را وارد بازار کنند!

ترامپ اخیراً مدیران ارشد هوش مصنوعی را به خاطر «خودکنترلی و نظارت درونی فوق‌العاده‌شان» تحسین کرد و نشان داد قصد ندارد برای صنعتی که موتور محرک اقتصاد و وال‌استریت شده مانع‌تراشی کند؛ بلکه ترجیح می‌دهد آن‌ها را به حال خودشان بگذارد. او در قالب یک توافق‌نامه داوطلبانه که اواخر سپتامبر رونمایی کرد، شرکت‌های هوش مصنوعی را تشویق نمود تا «با یک حسابرس یا ارزیاب خارجی مستقل همکاری کنند».

این بحث‌ها درست از زمانی بالا گرفت که داریو آمودی ماه گذشته با انتشار مقاله‌ای جنجالی که حسابی در اینترنت سر و صدا کرد، خواستار کندتر کردن سرعت توسعه مدل‌های پیشرفته شد؛ آن هم بعد از اینکه جمعی از محققان، شرکتش را ترک کرده و درباره خطرات آخرالزمانی و موجودیتی هوش مصنوعی هشدار داده بودند.

اما درست در شرایطی که آزمایشگاه‌های هوش مصنوعی در حال مستقر کردن این ارزیاب‌ها هستند، اولین اصطکاک‌ها و اختلافات از همین حالا خودشان را نشان داده‌اند.

هفته گذشته، سخنگوی OpenAI اعلام کرد که این شرکت سه کارمند خود را به دلیل «نقض سیاست‌های دسترسی و مدیریت اطلاعات حساس شرکت» اخراج کرده است. دو نفر از این کارمندان به نام‌های میکیتا بالِسنی (Mikita Balesni) و تومک کورباک (Tomek Korbak) گفتند معتقدند اخراجشان مستقیماً به نحوه ارتباط و تبادل نظر آن‌ها با همین ارزیاب‌های مستقل مربوط بوده است. 

بالسنی در پستی در شبکه اجتماعی X نوشت: «همکاران سابقم به من می‌گویند کاملاً گیج شده‌اند و نمی‌دانند چه چیزی را باور کنند. آن‌ها حتی از حرف زدن هم می‌ترسند و نگرانند گوشی‌های شخصی‌شان را برای پیدا کردن پیام‌هایی که به ما یا گروه‌های ارزیاب فرستاده‌اند زیر و رو کنند. من نگرانم این ترس فراگیر از صحبت کردن و تعامل با سازمان‌های مستقل باعث شود OpenAI پشت درهای بسته اصول ایمنی را زیر پا بگذارد و ماجرا را ماست‌مالی کند.»

البته OpenAI این ادعاها را به شدت رد کرد و در پستی گفت که «به‌طور جدی در حال نهایی کردن قراردادها با ارزیاب‌های ایمنی شخص ثالث است و جزئیات آن را در هفته‌های آینده اعلام خواهد کرد».

این شرکت تأکید کرد: «ما به استقرار ارزیاب‌های خارجی در شرکت متعهدیم و همکاری نزدیک با سازمان‌های مستقل ایمنی را همچنان به عنوان بخش بنیادین پروتکل‌های ایمنی خود ادامه می‌دهیم.» 

سخنگوی OpenAI همچنین در بیانیه‌ای توضیح داد که همکاری‌های پیش‌رو با این ارزیاب‌ها، بر پایه تعاملات فعلی شرکت با سازمان‌های مستقل ایمنی مانند METR و رِدوود ریسرچ (Redwood Research) شکل گرفته است.

در این میان، آنتروپیک به درخواست‌ها برای اظهارنظر در این مورد پاسخی نداد.

«هیچ موضوعی را ندیده بودم با این سرعت پیش برود»

اکوسیستم ارزیابی هوش مصنوعی در حال حاضر عمدتاً از سازمان‌های کوچک و چابکی مثل METR و Apollo Research و البته غول‌های حسابرسی و مشاوره بزرگ‌تری مانند اکسنچر (Accenture) تشکیل شده است. 

اگرچه آزمایشگاه‌های هوش مصنوعی تاکنون در سطحی محدود با این ارزیاب‌ها همکاری داشته‌اند، اما اندرو فریدمن، مدیرعامل اندیشکده سیاست‌گذاری فثوم (Fathom)، معتقد است این حوزه به سرعت در حال بلوغ است. 

فریدمن در گفت‌وگویی می‌گوید: «من در ۲۰ سال گذشته در دنیای سیاست و خط‌مشی‌گذاری کار کرده‌ام و تا به حال ندیده بودم موضوعی با این سرعت در سراسر طیف‌های سیاسی گوناگون جلو برود.» او می‌گوید انتظار دارد «موج عظیمی از سرمایه» به زودی به سمت این اکوسیستم سرازیر شود.

رایان کریشنان، مدیرعامل استارتاپ ارزیابی Vals AI، می‌گوید تیم انتفاعی او که بنچمارک‌هایی برای سنجش عملکرد مدل‌های هوش مصنوعی در صنایع مختلف می‌سازد، امسال از ۸ کارمند به حدود ۳۰ نفر رسیده و در ماه اوت هم جذب سرمایه ۴۰ میلیون دلاری خود را اعلام کرده است.

موسسه غیرانتفاعی METR نیز در ماه اوت اعلام کرد که در شش ماه گذشته تعهدات مالی حدود ۷۱ میلیون دلاری جذب کرده است؛ رقمی که طبق تازه‌ترین اسناد ارائه‌شده به اداره درآمد داخلی آمریکا (IRS)، رشد چشمگیری نسبت به کل کمک‌های ۱۳.۶ میلیون دلاری سال ۲۰۲۴ نشان می‌دهد.  

در اواخر همان ماه، شهرت METR از این هم فراتر رفت؛ تا جایی که OpenAI دو نفر از کارمندان و یک پیمانکار این موسسه را به کار گرفت تا گزارش کالبدشکافی دقیقی تهیه کنند که نشان می‌داد مدل‌های این شرکت چطور از محیط قرنطینه امنیتی فرار کرده، به اینترنت آزاد دسترسی پیدا کرده و پلتفرم متن‌باز هاگینگ فیس (Hugging Face) را هدف نفوذ قرار داده‌اند! موسسه METR اعلام کرد برای این ارزیابی حساس هیچ پولی از OpenAI دریافت نکرده است. 

عکس: آندری روداکوف | بلومبرگ | گتی ایمیجز

کوین ورباخ، مدیر آزمایشگاه هوش مصنوعی پاسخ‌گو در مدرسه وارتون دانشگاه پنسیلوانیا، هشدار می‌دهد که این اکوسیستم در حال حاضر «هنوز به اندازه کافی قدرتمند و پخته نیست». برای نمونه، طبق وبسایت موسسه METR، این سازمان حتی کم‌تر از ۵۰ کارمند تمام‌وقت دارد. 

عدم تعادل قدرت بین این سازمان‌های کوچک ارزیاب و غول‌های پیشتاز هوش مصنوعی—که ده‌ها میلیارد دلار سرمایه جذب کرده‌اند و هزاران کارمند در استخدام خود دارند—نگرانی‌های جدی درباره تعارض منافع بالقوه ایجاد کرده است.

ونکاتاسوبرامانیان در این زمینه می‌گوید: «اگر نظارت واقعی شخص ثالث می‌خواهید، باید از نظر مالی و ساختاری استقلال کامل وجود داشته باشد. موضوع فقط نگرفتن دستمزد نیست؛ مسأله این است که اگر من به عنوان حسابرس گزارشی منتشر کنم که به مذاق این شرکت خوش نیاید، آیا تاوانش را پس خواهم داد؟ آیا کار و کاسبی‌ام کساد و تعطیل می‌شود؟» 

آنتروپیک ماه گذشته در پستی در وبلاگ خود به این پیچیدگی‌ها اعتراف کرد؛ زمانی که اعلام نمود نیروهایی از شرکت فَکالتی (Faculty، بخش تخصصی هوش مصنوعی اکسنچر) را در شرکت خود مستقر می‌کند تا پروتکل‌های ایمنی را بیازمایند و بسنجند که آیا مدل‌ها هم‌راستا با ارزش‌های انسانی رفتار می‌کنند یا خیر. آنتروپیک گفت با توجه به اهمیت و فوریت ماجرا، شخصاً هزینه این همکاری با اکسنچر را پرداخت خواهد کرد.

آنتروپیک نوشت: «هنوز هیچ استانداردی درباره اینکه ارزیاب‌های مستقر باید به چه اطلاعاتی دسترسی داشته باشند یا یافته‌های خود را چگونه گزارش کنند، وجود ندارد. همچنین هیچ سیستم مشخصی برای تأمین مالی ارزیابی مستقل شکل نگرفته است. در بلندمدت، معتقدیم بودجه این کار باید از منابع مشترک صنعتی یا بودجه‌های دولتی تأمین شود.»

آنتروپیک اعلام کرد که مشغول مذاکره با METR و سایر ارزیاب‌های غیرانتفاعی است؛ گروه‌هایی که قصد دارند با استفاده از منابع مالی خود، بخش‌هایی از مدل «ارزیابی مستقر» را به صورت آزمایشی پیاده کنند. 

آیا دولت وارد میدان خواهد شد؟

در ژوئن سال گذشته، موسسه فثوم چارچوبی موسوم به بازار سازمان‌های تأیید مستقل (IVO) پیشنهاد کرد. بر اساس این طرح، گروه‌های مذکور از طرف دولت مجوز می‌گیرند و اجازه خواهند داشت بررسی کنند که آیا شرکت‌های هوش مصنوعی واقعاً معیارهای ایمنی را رعایت می‌کنند یا خیر. 

فریدمن تأکید می‌کند که نظارت دولتی یک کلید حیاتی است؛ چرا که در غیر این صورت، ارزیاب‌های مستقل برای درآمدشان به غول‌های هوش مصنوعی وابسته می‌شوند و ممکن است برای حفظ موقعیت و پول خود، چشم‌بسته «پای هر چیزی مهر تأیید بزنند». 

حالا برخی قانون‌گذاران هم با این دیدگاه همراه شده‌اند.

سازمان‌های IVO یکی از بخش‌های کلیدی لایحه «نظارت بر خطرات مدل‌های مرزی، شفافیت ملی، ارزیابی مستقل و گزارش‌دهی» موسوم به لایحه FRONTIER هستند؛ طرحی که لوری تراهان و جی اوبرنولتی، نمایندگان کنگره، در ماه ژوئیه ارائه کردند. فریدمن می‌گوید موسسه فثوم در نگارش متن و تأمین تخصص فنی این لایحه مشارکت داشته است.  

کریس لِهان (Chris Lehane)، مدیر امور بین‌الملل OpenAI، در ماه سپتامبر به خبرنگاران گفت که در ساختمان کنگره با یکی از حامیان این لایحه دیدار کرده تا حمایت کامل این شرکت را از بند مربوط به ارزیاب‌های مستقل (IVO) اعلام کند.

طبق گزارش‌ها، لِهان گفته است: «برای آن‌ها خیلی مهم بود که این پیام را مستقیماً از زبان ما بشنوند و ما هم می‌خواستیم موضع کاملاً شفافی داشته باشیم.» 

هم‌زمان، قانون‌گذاران در ایالت‌های کالیفرنیا، کنتیکت و ویرجینیا گام‌هایی برای اجرایی کردن ساختار IVO برداشته‌اند و ایالت‌هایی مثل ماساچوست هم ارزیابی‌های ایمنی مستقل را در سطحی وسیع‌تر بررسی می‌کنند. 

گاوین نیوسام، فرماندار کالیفرنیا، در جریان نشست خبری در مقر سازمان ملل در نیویورک سخنرانی می‌کند (۲۲ سپتامبر ۲۰۲۶).

عکس: مایکل کاپلر | پیکچر آلیانس | گتی ایمیجز

گاوین نیوسام اخیراً دو لایحه مرتبط با سازمان‌های ارزیاب مستقل را امضا کرد؛ یکی برای ایجاد «نخستین چارچوب ایالتی در آمریکا» و دیگری برای راه‌اندازی سامانه ثبت حسابرسان هوش مصنوعی. آنتروپیک در ماه اوت حمایت خود را از هر دو لایحه اعلام کرد و OpenAI هم ماه گذشته دقیقاً در همان روزی که نیوسام قوانین را امضا کرد، رسماً مهر تأیید خود را پای آن‌ها زد. 

لِهان در همان زمان در پستی در وبلاگ OpenAI نوشت: «ما ترجیح می‌دهیم ارزیابی‌های فنی مستقل در سطح فدرال الزامی شوند، اما در غیاب اقدام دولت فدرال، کالیفرنیا می‌تواند قوانین اولیه این مسیر را پایه‌گذاری کند.» 

فریدمن معتقد است برای غول‌هایی مثل OpenAI و آنتروپیک «بسیار دشوار» خواهد بود که خودشان به‌تنهایی روش همکاری با ارزیاب‌های مستقل را پیدا کنند. با این حال او تأکید می‌کند: «تا زمانی که نقش دولت نامشخص است، تقویت این مهارت در این دوران گذار واقعاً ارزشمند است.»

در حال حاضر، نزدیک‌ترین چیزی که این صنعت به یک چارچوب استاندارد دارد، توافقی است که ترامپ در ضیافت ناهار ماه گذشته با مدیران فناوری در کاخ سفید، آن را پیمانی «از نظر اخلاقی الزام‌آور» نامید.

در این توافق‌نامه یک صفحه‌ای آمده است که «هر شرکتی موظف است فناوری خود را به‌گونه‌ای ایمن توسعه دهد که اعتماد مشتریان و افکار عمومی جلب شود». همچنین امضاکنندگان تشویق شده‌اند تا «برای انجام ارزیابی‌های مستقل با یک حسابرس یا ارزیاب خارجی مستقل همکاری کنند».

این سند به امضای مدیران ارشد آنتروپیک، گوگل، متا، OpenAI، اسپیس‌ایکس و انویدیا رسید؛ نمایشی کم‌نظیر از اتحاد میان رهبرانی که همواره دیدگاه‌های کاملاً متضادی درباره نحوه مقابله با خطرات هوش مصنوعی داشته‌اند. با این حال، هر کدام از این شرکت‌ها هنوز باید مسیر اختصاصی خود را ترسیم کنند.

ونکاتاسوبرامانیان این ماجرا را این‌طور توصیف می‌کند: «این صرفاً یک نمایش از تلاش برای اقدام بود، در حالی که در عمل هیچ اتفاق خاصی نیفتاده است. چیز‌هایی که آن‌ها قول انجامش را می‌دهند، کار‌هایی است که باید از قبل انجام می‌دادند؛ کار‌هایی که در واقع قبلاً هم ادعا می‌کردند در حال انجامش هستند!»

آمودی در مقاله ماه سپتامبر خود اعلام کرد که آنتروپیک برای این ارزیاب‌ها میز کار، کارت تردد، لپ‌تاپ شرکتی و سطوح دسترسی در نظر خواهد گرفت که «تقریباً مشابه» دسترسی تیم‌های داخلی سنجش ریسک شرکت است. علاوه بر این، قراردادها به این بازرسان «حق انتشار یافته‌های کلیدی» را می‌دهد، هرچند آنتروپیک «حق محدودی» برای سانسور برخی اطلاعات محرمانه یا حساس امنیتی را برای خود محفوظ نگه می‌دارد.

آمودی نوشت: «این اقدامی غیرمعمول برای یک شرکت است، اما معتقدیم اثبات کارآمدی ایده بازرسان خارجی مستقر اهمیت زیادی دارد.»

چند روز بعد، OpenAI نیز طرح پیشنهادی خود را منتشر کرد و گفت ارزیاب‌ها باید روی «ادعاهای مشخص و مورد توافق طرفین» کار کنند، متدولوژی و استانداردهای خود را به وضوح توضیح دهند، تخصص فنی لازم را به نمایش بگذارند و هرگونه تعارض منافع را شفاف‌سازی کنند.

در همین حال، مجمع ارزیابان هوش مصنوعی (AI Evaluator Forum)—شامل METR، موسسه پژوهشی تأیید و ارزیابی هوش مصنوعی (AVERI) و گروه‌های دیگر—ماه گذشته نامه‌ای سرگشاده با عنوان «حداقل شرایط برای استقرار ارزیاب‌ها» منتشر کردند.

در این بیانیه تأکید شده که ارزیاب‌ها باید کاملاً شفاف عمل کنند، از هرگونه اقدام تلافی‌جویانه از سوی شرکت‌ها مصون بمانند و دسترسی‌هایی معادل با «کارمندان بسیار ارشد و دارای بالا‌ترین سطح دسترسی» داشته باشند.

در این نامه آمده است: «ارزیابی‌های مستقر درون شرکت نمی‌توانند تمام نیازهای نظارتی را پوشش دهند و باید به عنوان مکملی برای تلاش‌های گسترده‌تر نظارت خارجی در نظر گرفته شوند، نه جایگزینی برای آن.»

فریدمن می‌گوید طی ماه‌های اخیر شاهد چرخش موضع آشکاری از سوی OpenAI و آنتروپیک بوده است؛ عمدتاً به این خاطر که آن‌ها فهمیده‌اند بدون جلب اعتماد افکار عمومی هرگز نمی‌توانند مدل‌های پیشرفته‌تر خود را عرضه کنند. 

او بی‌پرده می‌گوید: «لازم نیست تصور کنید آن‌ها یک‌شبه نوع‌دوست و خیرخواه شده‌اند؛ این شرکت‌ها دقیقاً مثل هر شرکت تجاری دیگری به فکر منافع خودشان هستند.»

ورباخ می‌گوید همین نکته ریشه اصلی مشکل را برجسته می‌کند: OpenAI و آنتروپیک پیش از هر چیز در حال رقابتی نفس‌گیر با یکدیگرند؛ آن هم در مسیری که به سمت عرضه عمومی سهام و دستیابی به ارزش‌گذاری‌های بیش از یک تریلیون دلار پیش می‌رود.

ورباخ تأکید می‌کند: «بی‌اعتمادی عمیقی میان مدیران این دو شرکت وجود دارد؛ هرچند هر دوی آن‌ها کاملاً هم‌عقیده‌اند که انجام چنین ارزیابی‌هایی یک ضرورت حیاتی است.»