ادعای جنجالی محقق سابق اوپنای‌آی؛ آیا رمزگشایی از جعبه سیاه هوش مصنوعی ساده‌تر از تصور ماست؟

«فکر می‌کنم خبرهای خوبی درباره ماهیت شبکه‌های عصبی دارم.» با همین کلمات ساده و سرشار از خوش‌بینی، نیک کاماراتا، پژوهشگر استارتاپ هوش مصنوعی Goodfire، یک پست وبلاگی ۲۶ هزار کلمه‌ای را آغاز کرد؛ متنی جنجالی که دنیای هوش مصنوعی را تکان داد و موجی از گمانه‌زنی‌ها و ابراز شادمانی‌های محتاطانه (و گاه بی‌محابا) را برانگیخت.

ادعای کاماراتا این است که درک عملکرد مدل‌های بزرگ زبانی (LLMs) و در نتیجه پایش و مهار آن‌ها، احتمالاً بسیار ساده‌تر از تصورات پیشین ماست. اگر این فرض درست باشد، با یک دستاورد علمی عظیم روبه‌رو هستیم.

پس از تابستانی پر از گزارش‌های هشداردهنده مبنی بر اینکه دسته‌هایی از ایجنت‌های توسعه‌یافته در غول‌های فناوری مانند اوپنای‌آی و آنتروپیک از محیط‌های ایزوله خود خارج شده و بدون اطلاع سازندگانشان در اینترنت عمومی اخلال ایجاد کرده‌اند، صنعت هوش مصنوعی تشنه دستیابی به مهار و درک بهتر فناوری‌هایی است که خلق کرده است.

همین نگرانی عمیق یکی از دلایل اصلی توجه خیره‌کننده به این نوشته وبلاگی است. یکی از محققان هوش مصنوعی در شبکه اجتماعی ایکس نوشت: «فکر می‌کنم این روزها به‌عنوان نقطه‌ای عطف در تاریخ علم ثبت شود؛ احساس می‌کنم درک من از چیستی یک شبکه عصبی حداقل ۵ سال به جلو پرتاب شده است.» پژوهشگر دیگری نیز آن را «مهم‌ترین مقاله سال هوش مصنوعی» توصیف کرد.

با این حال، همه جامعه علمی نسبت به این ادعا متقاعد نشده‌اند. کریس پاتس از دانشگاه استنفورد که هدایت تیمی پژوهشی برای کشف نحوه کارکرد مدل‌های زبانی را بر عهده دارد، می‌گوید آنچه کاماراتا ارائه داده چیزی فراتر از یک حدس اولیه نیست: «تا آنجا که بررسی کرده‌ام، هیچ‌چیز در این پست وبلاگی گره کار را باز نمی‌کند. هرگز به ذهن من نمی‌رسید چنین تعبیری به کار ببرم، اما به نظر می‌رسد چهره‌های بسیار سرشناس شبکه‌های اجتماعی آن را یک پیشرفت همه‌جانبه قلمداد می‌کنند.»

در گفت‌وگویی اختصاصی با کاماراتا، یک روز پس از وایرال شدن مقاله‌اش، او اشاره کرد که از حجم بازخوردها شگفت‌زده شده است: «انتظار نداشتم مردم باورهای تثبیت‌شده خود درباره هوش مصنوعی را تا این حد سریع بازنگری کنند.»

او می‌گوید: «من فقط واقعاً از تماشای ساختار شبکه‌های عصبی لذت می‌برم. صادقانه بگویم، عاشق این کار هستم و پس از بررسی‌های طولانی، روایتی امیدوارکننده برای گفتن پیدا کردم.»

شبکه‌های گره‌خورده و کلاف سردرگم نورون‌ها

مدت‌هاست این اصل پذیرفته شده که مکانیزم‌های درونی شبکه‌های عصبی (همان نرم‌افزاری که زیربنای مدل‌های هوش مصنوعی را می‌سازد) به‌شدت پیچیده‌اند و شاید باز کردن کامل آن‌ها برای همیشه غیرممکن باشد. علت آن است که این شبکه‌ها در طول آموزش، ساختارهایی غریب و درهم‌پیچیده به خود می‌گیرند که برای ذهن انسان نامفهوم است. دانشمندان معمولاً می‌گویند هوش مصنوعی امروزی مانند یک باغ پرورش می‌یابد، نه اینکه مثل یک پل مهندسی و ساخته شود.

جالب اینجاست که کاماراتا خود بیش از دیگران در جا انداختن این دیدگاه سهیم بوده است. او پیش‌تر در اوپنای‌آی فعالیت می‌کرد و از پیشگامان روش‌هایی بود که به محققان امکان می‌داد به درون مدل‌ها نگاه بیندازند؛ از جمله ابزارهایی که تک‌تک نورون‌ها را می‌کاوند تا بفهمند هر نورون چه مفهومی را بازنمایی می‌کند. این متدولوژی شباهت زیادی به کاربرد اسکن‌های MRI توسط عصب‌شناسان برای بررسی مغز انسان دارد؛ رویکردی نوین که در محافل علمی با نام «تفسیرپذیری مکانیکی» (Mechanistic Interpretability) شناخته می‌شود.

در سال ۲۰۲۰، کاماراتا و همکارانش مشغول مطالعه یک مدل کوچک تشخیص تصویر به نام Inception v1 بودند. هنگامی که آن‌ها نورون‌های مدل را بررسی کردند، متوجه شدند که یک نورون به‌طور همزمان برای ثبت چندین مفهوم مختلف استفاده می‌شود. به‌عنوان مثال، دریافتند که یک نورون مشترک، هم به تصاویر اتومبیل‌ها و هم به تصاویر گربه‌ها واکنش نشان می‌دهد.

محققان به این نتیجه رسیدند که مدل حداقل بخشی از نورون‌های خود را وادار به مالتی‌تسکینگ می‌کند تا بتواند داده‌های بیشتری را در فضای خود فشرده سازد. آزمایش مدل‌های دیگر نیز این پدیده را تأیید کرد؛ پدیده‌ای که بعدها «برهم‌نهی» (Superposition) نام گرفت، به این معنی که مدل‌ها مفاهیم نامرتبط را در یک نورون ترکیب می‌کنند. نتیجه‌گیری کاملاً شفاف و دلسردکننده بود: درون هر مدل هوش مصنوعی، کلافی بی‌پایان و درهم‌پیچیده از مفاهیم نامشخص جا خوش کرده است.

بنابراین، عمده تحقیقات تفسیرپذیری مکانیکی روی ابزارهایی برای باز کردن این کلاف متمرکز شد. اما با وجود دستاوردهای مقطعی، پیشرفت کار به کندی صورت گرفت. مدل‌های امروزی، به‌ویژه جدیدترین مدل‌های زبانی، به قدری عظیم و پرپیچ‌وخم هستند که محققان در هر بار کاوش فقط می‌توانند بخش‌های بسیار کوچکی از آن‌ها را رمزگشایی کنند. به همین علت، برخی چهره‌های برجسته این حوزه به‌کلی ناامید شده بودند و باور داشتند که درک باکیفیت و جزءبه‌جزء یک مدل زبانی هرگز ممکن نخواهد شد.

کاماراتا خود نیز در میان همین افراد بدبین بود. او می‌گوید: «من به‌شدت بدبین بودم.» اما بعد از آن، تصمیم گرفت زحمت یک بازبینی اساسی را به جان بخرد.

فقط نورون‌ها و دیگر هیچ

در استارتاپ Goodfire، کاماراتا تقریباً تمام وقت خود را صرف بررسی لایه‌های زیرین شبکه‌های عصبی می‌کند. او ابزارهای نوینی پدید آورده و تیم‌هایی از ایجنت‌های هوش مصنوعی را به خدمت گرفته تا داده‌های مشاهده‌شده را به زبان قابل فهم تبدیل کنند. او می‌گوید: «در بخش عمده سال گذشته، شاید روزی ۱۰ ساعت و هفت روز هفته فقط به ساختار نورون‌ها خیره شده بودم.»

ادعای او برآمده از همین تمرکز است: اینکه شبکه‌های عصبی در نهایت نوعی منطق معنادار دارند، حتی اگر در نگاه اول آشفته به نظر برسند. او تاکید می‌کند: «ما از زاویه نادرستی به ماجرا نگاه می‌کردیم. فکر می‌کنم فقط باید کمی بیشتر تلاش کنیم و خیلی زود جا نزنیم.»

توضیحات کاماراتا تا حدی شبیه یک دگرگونی بنیادین در باور است. آزمایش‌های اولیه روی مدل‌هایی نظیر Inception v1 که ایده کلاف سردرگم را جا انداخته بودند، نوعی خطای شناختی و سوگیری تاییدی پدید آوردند. به گفته او، هر زمان محققان مدلی جدید را بررسی می‌کردند، از قبل منتظر سردرگمی بودند: «هر بار چیزی را متوجه نمی‌شدم، با خودم می‌گفتم فرآیند باز کردن این گره‌ها مهم‌تر از چیزی است که فکر می‌کردم، چون بدون آن هیچ قدمی رو به جلو برداشته نمی‌شود.»

اما به گفته کاماراتا، هر چقدر زمان بیشتری صرف نورون‌ها کرد، تکه‌های پازل بیشتر و بهتر در کنار هم چیده شدند: «مسلماً همه بخش‌ها بی‌نقص نیستند، اما من انتظار داشتم هیچ‌چیز یا بخش بسیار اندکی از ساختار شبکه خوانا باشد، در حالی که در عمل توانستم نقشه‌برداری کل مدارهای پردازشی را انجام دهم.»

بازگشت به معمای خودروها و گربه‌ها

کاماراتا با این تفکر تازه و به کمک ایجنت‌های هوش مصنوعی جدیدش، بار دیگر به سراغ مدل Inception v1 بازگشت؛ مدلی که خودش می‌گوید شاید هزاران ساعت روی آن مطالعه کرده بود. اما این بار با زاویه دیدی نو، متوجه شد که احتمالاً در گذشته برداشت اشتباهی داشته‌اند. به‌عنوان مثال، همان نورون مشترک خودرو و گربه را در نظر بگیرید. او به‌جای اینکه بپرسد چرا چند مفهوم نامربوط در یک نورون تلنبار شده‌اند، این بار تلاش کرد نقطه اشتراک این تصاویر را پیدا کند.

ناگهان جرقه اصلی در ذهنش زده شد: الگوی شکل حرف V انگلیسی! او می‌گوید: «من دقیقاً به همان تصاویر قدیمی نگاه می‌کردم و هیچ تغییر فنی رخ نداده بود، اما حالا باور داشتم که شبکه‌های عصبی الگوها را تعریف می‌کنند؛ در نتیجه نگاهم دگرگون شد و پیدا کردن این الگو شاید تنها پنج ثانیه طول کشید.»

معلوم شد مدل بینایی ماشین گربه‌ها و خودروها را به این دلیل در یک نورون مشترک کدگذاری می‌کرد که هر دو تصویر اغلب دارای یک زاویه V شکل برجسته بودند؛ مانند خطوط صورت یک گربه یا نمای جلوی اتومبیل وقتی از زاویه کناری دیده شود.

کاماراتا برای آزمایش فرضیه خود، سایر مواردی را که این نورون به آن‌ها واکنش نشان می‌داد بررسی کرد و پی برد که گوشه تیز میز بیلیارد، دماغه نوک‌تیز قطارهای سریع‌السیر ژاپن و حتی آب پاشیده‌شده از عرشه یک قایق آتش‌نشانی نیز باعث تحریک این نورون می‌شوند. او همچنین تصاویری را که باعث خاموش شدن نورون می‌شدند بررسی کرد و متوجه شد تصاویر دارای شکل دایره‌ای یا شبیه به حرف O (نقطه مقابل زاویه تند V) این نورون را غیرفعال می‌کنند.

کاماراتا توضیح می‌دهد که مدل به این دلیل گربه‌ها و ماشین‌ها را در یک خانه ذخیره کرده بود که در یک سطح بصری خاص، ظاهری همسان داشتند: «در آن لحظه شوکه شدم و با خودم گفتم وای، شاید من تا امروز ماهیت شبکه‌های عصبی را کلاً اشتباه فهمیده بودم!»

البته کاماراتا ادعا نمی‌کند که اکنون از زیروبم مدل‌های بزرگ زبانی یا هر مدل دیگری سر درمی‌آورد؛ هنوز فرسنگ‌ها با چنین ادعایی فاصله دارد. پیام او این است که درک صددرصدی این مدل‌ها حداقل از نظر علمی شدنی است: «قبلاً فکر می‌کردم موانعی حل‌نشدنی و ناممکن در مسیر قرار دارند.»

او می‌افزاید: «اما حالا حس می‌کنم اگر ۱۰۰ هزار سال وقت داشتم تا مدار به مدار یک مدل زبانی پیشرو را بررسی کنم، احتمال اینکه به درکی جامع از آن برسم بسیار بالا بود.»

او در ادامه می‌گوید: «اگر این فرض درست باشد، آینده شگفت‌انگیزی پیش رو داریم؛ چراکه به زودی به ایجنت‌های بی‌نهایت باهوش در مقیاسی سرسام‌آور دسترسی خواهیم داشت و کاری که ممکن بود برای من ۱۰۰ هزار سال طول بکشد، با سرعتی باورنکردنی انجام خواهد شد. دانشمندان خودکار مبتنی بر هوش مصنوعی عملکرد فوق‌العاده‌ای پیدا کرده‌اند.»

خوش‌بینی بی‌پایان یا ساده‌سازی واقعیت؟

مدل Inception v1 که در سال ۲۰۱۴ توسط گوگل معرفی شد، در قیاس با سیستم‌های مرز فناوری امروز بسیار ساده‌تر است. کاماراتا و همکارانش اکنون تحلیل مدل‌های زبانی امروزی را آغاز کرده‌اند و وعده داده‌اند که نتایج فنی این کارآزمایی‌ها را به زودی منتشر کنند. پژوهشگران زیادی مشتاقانه منتظر این گزارش هستند. پاتس از دانشگاه استنفورد یادآوری می‌کند: «ارزش بررسی هزاران نمونه توسط او قابل درک است، اما حتی تحلیل حجم بالایی از نمونه‌ها نیز نمی‌تواند جایگزین ارزیابی‌های آماری و علمی دقیق شود.»

هم‌زمان، برخی صاحب‌نظران به‌شدت در برابر هیجانات رسانه‌ای اخیر موضع گرفته‌اند. جیکوب هیلتون از مرکز تحقیقات هم‌ترازی (Alignment Research Center) که یک آزمایشگاه تحقیقاتی غیرانتفاعی در برکلی است و پیش‌تر با کاماراتا همکاری داشته، این فرضیات را به اندازه‌ای که بزرگ‌نمایی شده، کلیدی نمی‌داند.

هیلتون در رشته‌پست‌هایی در شبکه اجتماعی ایکس یادآور شد که درک فعلی دانشمندان از فعل‌وانفعالات درون مدل‌های بزرگ زبانی کمتر از ۰٫۰۱ درصد است. او نوشت: «من همیشه از خوش‌بینی بی‌پایان نیک کاماراتا در گفت‌وگوهایمان لذت می‌برم، اما متاسفانه این دست ادعاها تصویری نادرست و غیرواقعی از جایگاه کنونی این رشته به افکار عمومی القا می‌کند. برای درک کامل، ما باید از مرز تک‌نورون‌ها فراتر برویم و روشن کنیم که ان نورون‌ها چگونه برای ساختن مدارهای بزرگ‌تر به هم پیوند می‌خورند. این بخش از کار چقدر پیش رفته است؟ اگر هدف نهایی رمزگشایی کامل باشد، باید بگویم اوضاع اصلاً امیدوارکننده نیست!»

نیل ناندا از گوگل دیپ‌مایند که همراه با کاماراتا جزو پیشتازان این شاخه به شمار می‌رود، نگاهی محتاطانه دارد. او در ایکس نوشت: «این کار جذابی است، اما فکر نمی‌کنم افق تازه‌ای در تصویر کلی ما از علم تفسیرپذیری بگشاید.»

ناندا قبول دارد که درک رفتار نورون‌های منفرد می‌تواند علت خطاهای یک مدل خاص را آشکار کند، اما مانند هیلتون تاکید دارد که نورون‌ها تنها یک تکه از پازلی به مراتب بزرگ‌ترند: «من با استنتاج‌های پر سر و صدای برخی افراد مبنی بر اینکه گامی بزرگ به سمت مهندسی معکوس مدل‌ها یا حل معمای تفسیرپذیری برداشته شده، به هیچ وجه موافق نیستم.»

کاماراتا خود نیز اذعان دارد که عده‌ای سخنان او را مصادره به مطلوب کرده‌اند: «این خبر خوشحالی بی‌پایان نیست و به معنی حل تمام مشکلات نخواهد بود. مسائل لاینحل زیادی پیش روی ماست؛ از جمله اینکه بدانیم وزن ترکیب نورون‌ها چقدر از بررسی جداگانه آن‌ها بیشتر است.»

با این حال، او معتقد است مقاله‌اش در روزهایی منتشر شد که فعالان هوش مصنوعی به بارقه‌ای از امید نیاز مبرم داشتند. به‌طور ویژه جامعه ایمنی هوش مصنوعی (پژوهشگران و سیاست‌گذارانی که نگران پیامدهای مهارنشدنی مدل‌های قدرتمندند) نیازمند راه نجاتی از بن‌بست کنونی هستند. کاماراتا می‌گوید بسیاری از آن‌ها تصور می‌کنند اوضاع رو به وخامت است و حتی اگر فاجعه‌ای رخ ندهد صرفاً از روی بخت و اقبال بوده است نه مهندسی صحیح ما: «من در این فضا معمولاً حرف‌های امیدوارکننده‌ای نمی‌شنوم.»

به همین دلیل است که کاماراتا دفاع از یافته‌های خود را بااهمیت می‌داند. مسیر کشف و درک نحوه عملکرد این فناوری و مهار آن هنوز در ابتدای راه است، اما دست‌کم غیرممکن به نظر نمی‌رسد. او در جمع‌بندی دیدگاه خود می‌گوید: «فکر می‌کنم وظیفه ما این است که تلاش کنیم مانند یک شبکه عصبی بیندیشیم. حدس من این است که ماجرا به‌خوبی پیش خواهد رفت، زیرا ساختار این شبکه‌ها اساساً طوری پدید آمده که در نهایت قابل خواندن و فهمیدن باشند.»