رمزگشایی از جعبه سیاه هوش مصنوعی؛ آیا درک رفتار شبکه‌های عصبی ساده‌تر از تصور ماست؟

چه می‌شود اگر یکی از بزرگ‌ترین فرضیات دنیای هوش مصنوعی از اساس نادرست بوده باشد؟ سال‌هاست که پژوهشگران برای درک نحوه عملکرد واقعی شبکه‌های عصبی دست‌وپنجه نرم می‌کنند؛ با این باور که سازوکار درونی این مدل‌ها به قدری پیچیده و درهم‌تنیده است که حتی سازندگانشان نیز سر از سازوکار دقیق آن‌ها درنمی‌آورند.

با این حال، یافته‌های پژوهشی جدید نشان می‌دهد که سازوکار درونی و به‌ظاهر مرموز هوش مصنوعی شاید بسیار ساده‌تر از آن چیزی باشد که تا پیش از این تصور می‌شد. البته این ادعای بحث‌برانگیز، جامعه پژوهشی را بر سر معنای واقعی درک و مهار هوش مصنوعی به دو گروه موافق و مخالف تقسیم کرده است.

نیک کاماراتا (Nick Cammarata)، پژوهشگر استارتاپ Goodfire در حوزه تفسیرپذیری هوش مصنوعی و از اعضای پیشین OpenAI، با انتشار یک مقاله پژوهشی بحث‌انگیز در تاریخ ۱۵ اکتبر ۲۰۲۶ این فرض دیرینه را به چالش کشیده است. او استدلال می‌کند که شبکه‌های عصبی بسیار قابل‌فهم‌تر از تصور پژوهشگران هستند؛ ایده‌ای که بحث‌های داغی پیرامون احتمال گشوده شدن قفل جعبه سیاه هوش مصنوعی به راه انداخته است.

پیامدهای دستیابی به هوش مصنوعی شفاف و قابل‌توضیح بسیار گسترده است. امروزه کسب‌وکارها بیش از هر زمان دیگری برای کدنویسی، تحلیل داده‌های حساس، ارائه پیشنهادها و تصمیم‌گیری از طریق عامل‌های هوشمند به سیستم‌های هوش مصنوعی تکیه می‌کنند.

اما در این میان یک چالش اساسی وجود دارد؛ شرکت‌ها می‌توانند خروجی این مدل‌ها را ارزیابی کنند، اما در بیشتر مواقع سازوکار دقیق پردازش‌های درونی منجر به این خروجی‌ها را نمی‌دانند. اگر یک سیستم هوش مصنوعی خطایی پرهزینه مرتکب شود، تصمیمی تبعیض‌آمیز بگیرد یا دست به اقدامی پیش‌بینی‌نشده بزند چه خواهد شد؟ شناخت عمیق‌تر از خود مدل‌ها می‌تواند راهکاری مؤثر برای بررسی دقیق ریشه‌ها و پیشگیری از چنین خطاهایی فراهم کند.

آیا این احتمال وجود دارد که پژوهشگران مسئله توضیح‌پذیری هوش مصنوعی را بی‌جهت پیچیده کرده باشند؟ ادعاهای کاماراتا نشان می‌دهد که شاید کل رویکرد کنونی ما برای شناخت شبکه‌های عصبی نیازمند بازنگری باشد. با این همه، گروهی دیگر از محققان برجسته هوش مصنوعی چندان با این دیدگاه هم‌نظر نیستند. این مباحثات پرسش‌هایی بنیادین ایجاد کرده است: هوش مصنوعی واقعاً چگونه کار می‌کند، آیا ما به درک آن نزدیک‌تر شده‌ایم و آیا این شناخت مدل‌ها را ایمن‌تر خواهد کرد؟

چرا هوش مصنوعی یک «جعبه سیاه» دانسته می‌شود؟

نرم‌افزارهای سنتی بر پایه دستورالعمل‌های شفاف برنامه‌نویسان اجرا می‌شوند. از آنجا که توسعه‌دهندگان خطوط کد را خودشان می‌نویسند، منطق حاکم بر عملکرد سیستم را نیز درک می‌کنند. حتی زمانی که ده‌ها برنامه‌نویس روی یک پروژه کار کنند و خروجی شبیه کلافی سردرگم به نظر برسد، باز هم امکان بررسی کدها، ردیابی محاسبات و سنجش نحوه تعامل بخش‌های مختلف وجود دارد.

اما شبکه‌های عصبی که شالوده سیستم‌های مدرن یادگیری عمیق را تشکیل می‌دهند، به شیوه‌ای کاملاً متفاوت عمل می‌کنند. مهندسان می‌توانند معماری اولیه و فرایندهای آموزشی را طراحی کنند، اما این خود شبکه‌ها هستند که درک درونی خود را بر اساس میلیون‌ها یا میلیاردها نقطه داده شکل می‌دهند. مدل‌ها روابط پنهان میان داده‌ها را به‌شکل خودگردان شناسایی می‌کنند تا به نتیجه مطلوب برسند.

یک شبکه عصبی ممکن است میلیاردها پارامتر عددی داشته باشد که در میان لایه‌های متعدد نورون‌های مصنوعی توزیع شده‌اند. این پیوندها به مدل اجازه می‌دهند الگوها را تشخیص دهد، به پرسش‌ها پاسخ گوید، تصویر خلق کند و وظایفی را انجام دهد که برنامه‌نویسان هرگز به‌طور مستقیم به آن دیکته نکرده بودند.

بنابراین، با وجود اینکه مدل‌ها به‌مرور زمان برای تولید خروجی‌های مدنظر ما آموزش می‌بینند، دشواری اصلی از اینجا آغاز می‌شود که دقیقاً نمی‌دانیم هر نورون به‌تنهایی چه نقشی ایفا می‌کند.

پژوهشگران از مدت‌ها پیش متوجه پدیده‌ای به نام «چندمعنایی» (Polysemanticity) شده‌اند؛ وضعیتی که در آن یک نورون منفرد به چند مفهوم کاملاً نامرتبط پاسخ می‌دهد. برای نمونه، ممکن است یک نورون هنگام پردازش تصاویر گربه‌ها، خودروها و اجسام گوناگون دیگر به‌طور همزمان فعال شود.

این مشاهدات به‌شکل‌گیری نظریه «انطباق» یا «سوپرپوزیشن» (Superposition) انجامید؛ فرضیه‌ای که بیان می‌کند شبکه‌های عصبی مفاهیم بیشتری را نسبت به تعداد نورون‌های موجود، در نمایش‌های درونی خود فشرده‌سازی و هم‌پوشانی می‌کنند.

اگر چنین فرضیه‌ای درست باشد، شناخت یک مدل مستلزم باز کردن این گره‌های مفهومی درهم‌تنیده است تا محققان بتوانند شیوه پردازش داده‌ها را دریابند. اما اگر این تداخل ظاهری و رفتار پیچیده نورون‌ها، اصلاً پیچیدگی و سردرگمی واقعی نباشد چه؟

یکی از نمونه‌های کلیدی کاماراتا به بررسی مدل قدیمی‌تر پردازش تصویر یعنی InceptionV1 بازمی‌گردد.

پژوهشگران در بررسی‌های گذشته این مدل متوجه شدند یک نورون خاص هم به تصویر چهره گربه و هم به نمای جلوی خودروها واکنش نشان می‌دهد. این فعال‌سازی‌های به‌ظاهر نامرتبط دلیلی بر این فرضیه تلقی شد که شبکه‌های عصبی مفاهیم را به روشی غیرقابل‌فهم برای ذهن انسان با هم ترکیب می‌کنند.

اما کاماراتا با بازبینی دوباره این پدیده، به برداشتی کاملاً متفاوت رسید. به باور او، نورون مورد نظر به‌جای تشخیص مستقل گربه و خودرو، در واقع به یک ویژگی بصری مشترک یعنی یک الگوی V شکل واکنش نشان می‌داد.

نورونی که یک الگوی هندسی خاص را شناسایی می‌کند، در عمل وظیفه‌ای کاملاً معین دارد؛ حتی اگر آن الگو در اشیای گوناگون و نامرتبط تکرار شود. بنابراین مشکل از انجام همزمان چند وظیفه ناسازگار توسط نورون نبوده، بلکه پژوهشگران ویژگی مشترک اصلی را شناسایی نکرده بودند. کاماراتا معتقد است چنین خطاهایی در تفسیر داده‌ها، زیربنای مثال‌های مشهور دیگری را که در تأیید فرضیه سوپرپوزیشن مطرح شده‌اند نیز زیر سؤال می‌برد.

او گزارش می‌دهد که با اعمال تغییراتی در معماری‌های قدیمی‌تر شبکه‌های عصبی در کنار به‌کارگیری روش‌های پیشرفته‌تر ارزیابی، تفسیرپذیری نورون‌ها به طرز چشمگیری ساده‌تر می‌شود. او ادعا می‌کند در نسخه‌های بازطراحی‌شده مدل InceptionV1، امکان تفسیر ۹۹ تا ۱۰۰ درصد نورون‌های لایه پایانی فراهم شده است. افزون بر این، تحلیل‌های اولیه او روی مدل زبانی Qwen3-32B نشان می‌دهد حدود ۹۰ درصد از بخش‌های بررسی‌شده نورون‌ها یک کارکرد اصلی مشخص دارند و ۷ درصد دیگر نیز عملکردهای وابسته به آن را نشان می‌دهند.

البته این آمارها با ابهامات و شرایط احتیاطی فراوانی روبه‌رو هستند. نتایج به‌دست‌آمده برای مدل‌های زبانی هنوز مقدماتی است، معیارهای مشخص‌شده برای تعریف کارکرد یک نورون مورد پذیرش همگانی قرار ندارد و شناسایی محرک فعال‌کننده یک نورون لزوماً به معنای شناخت تمام فرایند محاسباتی آن نیست. کاماراتا خود نیز این محدودیت‌ها را پذیرفته و کار خود را به‌جای یک دستاورد علمی قطعی، فرضیه‌ای در حال بررسی می‌داند.

ادعاهای او با تردیدهای جدی پژوهشگران دیگر نیز مواجه شده است. لئو گائو (Leo Gao)، پژوهشگر OpenAI، در پاسخی در تاریخ ۱۷ اکتبر با عنوان شبکه‌های عصبی از پیش پاکیزه نیستند خاطرنشان کرد که اگرچه دانشمندان گاهی در انتساب مفاهیم نامرتبط به نورون‌ها شتاب‌زده عمل کرده‌اند، اما جهش از شناسایی یک الگوی تکراری به ادعای شناخت عملکرد واقعی نورون چندان پذیرفتنی نیست.

برای نمونه، نورونی که ظاهراً به تصویر سگی سوار بر دوچرخه واکنش نشان می‌دهد، ممکن است در شرایطی بسیار خاص‌تر فعال شود. علاوه بر این، حتی تفاوت‌های ناچیز در شدت فعال‌سازی می‌توانند اطلاعات پیچیده‌ای را حمل کنند که توضیحات ساده‌انگارانه از درک آن ناتوان است.

از نگاه گائو، جامعه علمی به آزمون‌های دقیق‌تری نیاز دارد؛ آیا این فرضیه‌ها می‌توانند نحوه رفتار نورون را در برابر داده‌های کاملاً جدید پیش‌بینی کنند؟ و آیا می‌توان رفتار نورون را با آن توضیح ساده جایگزین کرد بدون آنکه خروجی کلی مدل دگرگون شود؟

لیو گورتون (Liv Gorton)، دیگر پژوهشگر این حوزه، نیز انتقادهای دیگری مطرح کرده است؛ از جمله تردید درباره تعاریف ارائه‌شده برای سوپرپوزیشن و بروز ناهمخوانی‌هایی در زمان تکرار برخی آزمایش‌ها.

افزون بر تمام این موارد، شناخت واکنش‌های مجزای هر نورون با درک نحوه تفکر، استدلال و تصمیم‌گیری کل سیستم هوش مصنوعی یکی نیست. حتی اگر ثابت شود بیشتر نورون‌ها نقش‌های تعریف‌شده‌ای دارند، پژوهشگران همچنان باید کشف کنند که چگونه تعامل میلیاردها مؤلفه محاسباتی می‌تواند چنین رفتارهای پیچیده‌ای ایجاد کند؛ مسئله‌ای که شواهد فعلی نشان می‌دهد هنوز با حل نهایی آن فاصله زیادی داریم.

تلاش‌های ادامه‌دار بزرگان فناوری برای رمزگشایی از جعبه سیاه

شرکت‌های OpenAI، Anthropic، گوگل دیپ‌مایند و مراکز پژوهشی مستقل سال‌هاست در تلاشند تا از رازهای درونی سیستم‌های قدرتمند هوش مصنوعی پرده بردارند. در مه ۲۰۲۴، شرکت Anthropic پژوهشی منتشر کرد که طی آن میلیون‌ها ویژگی قابل‌تفسیر را در مدل زبانی Claude 3 Sonnet شناسایی کرده بود؛ ویژگی‌هایی که از مفاهیم روزمره و مکان‌های معروف گرفته تا موضوعات علمی و حتی رفتارهای بالقوه پرخطر را شامل می‌شدند.

محققان حتی نشان دادند که دستکاری این نمایش‌های درونی می‌تواند پاسخ‌های Claude را تغییر دهد؛ برای مثال تقویت ویژگی مربوط به پل گلدن گیت سبب می‌شد مدل در پاسخ‌های خود به‌طور مداوم به این پل اشاره کند.

شرکت OpenAI نیز رویکردی مشابه را در پیش گرفت و در ژوئن ۲۰۲۴ موفق به استخراج ۱۶ میلیون ویژگی تفسیرپذیر از دل GPT-4 شد. سپس در نوامبر ۲۰۲۵، OpenAI مسیر متفاوتی را در پیش گرفت و به آموزش شبکه‌های عصبی با اتصالات خلوت‌تر روی آورد تا ردیابی محاسبات درونی ساده‌تر شود.

با این حال، دیدگاه کاماراتا فرض بنیادین دشواری درک مستقیم شبکه‌های عصبی را به چالش می‌کشد. او پیشنهاد می‌کند که شاید دانشمندان به‌جای طراحی سازوکارهای پیچیده برای بازسازی ویژگی‌های درون شبکه، بهتر باشد زمان بیشتری را صرف بررسی مستقیم نورون‌ها و مدارهای موجود در دل مدل‌ها کنند.

در کنار تمام این مباحث، نباید در میزان کارایی شفاف‌سازی مدل‌ها اغراق کرد. حتی اگر یک سیستم هوش مصنوعی اجزای درونی کاملاً شفاف و روشنی داشته باشد، باز هم ممکن است مرتکب خطایی سهمگین شود؛ کمااینکه یک مدل شاید درخواستی را به درستی بفهمد، اما آن را با مجوزهای نادرست، داده‌های تاریخ‌گذشته یا رویه‌های اجرایی اشتباه به اجرا درآورد.

برای کسب‌وکارها، افزایش توضیح‌پذیری و شناخت درونی هوش مصنوعی می‌تواند پشتیبان خوبی برای فرایندهای آزمایش، پایش، امنیت و حاکمیت داده‌ها باشد، اما هرگز جایگزین آن‌ها نخواهد شد. در نهایت، آگاهی از آنچه درون مدل رخ می‌دهد مفید است؛ اما تضمین اینکه هوش مصنوعی دقیقاً کار تعیین‌شده را انجام دهد و مانع از اقدامات ناخواسته شود، همان هدف اصلی و واقعی است.