یک مدل، یک ارتش ایجنت؛ رونمایی Sakana AI از سیستم شگفت‌انگیز MASS برای خوداصلاحی هوش مصنوعی

آموزش یک مدل زبانی واحد در نقش یک تیم کامل از ایجنت‌ها

پژوهشگران استارتاپ ژاپنی Sakana AI با همکاری دانشمندان دانشگاه برکلی (UC Berkeley)، از مقاله و پیاده‌سازی متن‌باز پروژه‌ای هیجان‌انگیز به نام MASS (مخفف خودنظارتی چندایجنت یا Multi-Agent Self-Supervision) رونمایی کردند. در این روش، یک مدل زبانی واحد تمام نقش‌های کلیدی چرخه آموزش را بر عهده می‌گیرد: حل تسک‌ها، اصلاح و بهینه‌سازی جریان کاری ایجنت‌ها، داوری و ارزیابی نتایج، و در نهایت فاین‌تیون وزن‌های مشترک بر اساس موفق‌ترین سناریوها. جالب اینجاست که تنها پس از دو چرخه، عملکرد یک مدل متن‌باز ۲۷ میلیارد پارامتری در بنچمارک‌های پژوهشی بدون نیاز به برچسب‌های داده انسانی یا کمک گرفتن از یک مدل معلم قوی‌تر، رشد چشمگیری پیدا کرد.

چرا چرخه‌های خوداصلاحی هوش مصنوعی به بن‌بست می‌خورند؟

مسائل پژوهشی باز و پیچیده معمولاً تست‌های سنجش خودکار، پاسخ‌های قطعی یا توابع پاداش عینی و مشخصی ندارند. هرچه خروجی‌ها پیچیده‌تر می‌شوند، حتی متخصصان آن حوزه هم برای ارزیابی دقیق و یکدست به چالش می‌خورند؛ در نتیجه مدل هوش مصنوعی مجبور است بخش عمده‌ای از سیگنال‌های آموزشی را خودش تولید کند.

اما مشکل کجاست؟ از آنجا که یک وزن مشترک، کار را تولید می‌کند، نمره می‌دهد و از همان نتایج یاد می‌گیرد، خطاها می‌توانند در کل چرخه پخش شوند و تکثیر پیدا کنند. فرض کنید یک فرضیه غلط در یک پاسخ شکل بگیرد، بعد خودش به خودش نمره قبولی بدهد و همین اشتباه به دور بعدی آموزش وارد شود! سیستم MASS این چالش بزرگ را با خرد کردن وظایف میان زیرایجنت‌های هماهنگ و بهینه‌سازی نحوه تبادل اطلاعات بین آن‌ها برطرف می‌کند.

تبدیل ساختار سازمانی به داده‌های آموزشی در MASS

سیستم MASS با فراخوانی‌های جداگانه از یک مدل واحد، سه مأموریت اصلی تعریف می‌کند: یک تیم مجری که مسأله را حل می‌کند، یک بهینه‌ساز که جریان کاری تیم را اصلاح می‌کند، و یک ارزیاب که کار‌های تکمیل‌شده را با هم می‌سنجد. هر جریان کاری یک نقشه مکتوب شامل چهار بخش کلیدی است:

• نقش‌ها (Roles): وظایف و مسئولیت‌های واگذارشده به هر زیرایجنت.
• دستورالعمل‌ها (Instructions): اقداماتی که هر زیرایجنت باید دقیقاً به انجام برساند.
• قراردادها (Contracts): داده‌ها، مستندات، خروجی‌ها و تأییدیه‌هایی که هر زیرایجنت باید تحویل دهد.
• گام‌های انتقال (Hops): اولویت فراخوانی‌ها و نحوه دست‌به‌دست شدن اطلاعات میان ایجنت‌ها.

فرآیند آموزش بین دو مرحله در گردش است: جستجوی جریان کار با وزن‌های ثابت، و سپس به‌روزرسانی وزن‌های مدل بر اساس بهترین سناریوها:

1. حلقه داخلی با وزن‌های ثابت: سیستم MASS برای هر مسأله یک جریان کاری قهرمان (Champion) نگه می‌دارد. سپس یک جریان کاری آزمایشی را اجرا می‌کند، تمام پیام‌ها و خروجی‌های آن را در یک فضای کاری جمع‌آوری کرده و از ایجنت ارزیاب می‌خواهد آن را با خروجی جریان قهرمان مقایسه کند. در نهایت نتیجه مقایسه به بهینه‌ساز تحویل داده می‌شود تا اصلاحیه بهتری پیشنهاد دهد.
2. حلقه بیرونی با به‌روزرسانی وزن‌ها: جریان کاری قهرمان ۱۸ بار برای هر مسأله اجرا می‌شود. مدل فعلی خروجی‌های به‌دست‌آمده را دوبه‌دو مقایسه می‌کند و یک مدل ریاضی برادلی-تری (Bradley-Terry) این مقایسه‌ها را به امتیازهای نسبی تبدیل می‌نماید. سیستم در هر تسک تا ۱۶ سناریوی برتر را نگه می‌دارد و با تکنیک بهینه LoRA، مدل را روی مکالمات هماهنگ‌کننده و زیرایجنت‌ها فاین‌تیون می‌کند.

نکته هوشمندانه اینجاست که قبل از فاین‌تیون، متن مکتوب جریان کار از پرامپت هماهنگ‌کننده حذف می‌شود. به این ترتیب، مدل به جای کپی کردن فرمول کتبی، تصمیم‌گیری‌های هوشمندانه و هماهنگی‌های نهفته در دل مکالمات موفق را یاد می‌گیرد.

بیش‌ترین جهش عملکرد در تسک‌های پژوهشی

در آزمایش‌های این پروژه از مدل قدرتمند Qwen3.6-27B در محیط ایجنت کدنویسی qwen-code استفاده شد. مرحله آموزش شامل ۱۲ تسک پژوهشی شبیه‌سازی‌شده در حوزه‌های مالی، رباتیک و داروسازی بود و ۳ تسک دیگر هم به عنوان آزمون نهایی کنار گذاشته شدند. نرخ برد رودررو در برابر مدل پایه، تنها پس از یک چرخه به ۵۳.۹ درصد و پس از دو چرخه به رقم فوق‌العاده ۶۹.۹ درصد رسید.

برای داوری مستقل و ارزیابی خارجی، از مدل‌های پرچمدار GPT-5.5 و Claude Opus 4.8 استفاده شد. جالب اینجاست که نظرات این دو مدل غول‌پیکر در زمان آموزش کاملاً از دسترس MASS دور بود تا ارزیابی نهایی کاملاً بی‌طرفانه و جدا از سیگنال‌های خودنظارتی باشد.

شاخص «امتیاز به ازای هر توکن خروجی» عملکرد مدل‌ها را با توجه به حجم متن تولیدی نرمال‌سازی می‌کند (امتیاز مدل پایه ۱.۰ در نظر گرفته شده است). نتایج پس از دو چرخه نشان داد که توانایی‌های مدل به تسک‌های پژوهشی و تحلیل داده بسیار بهتر منتقل شده تا مهندسی نرم‌افزار:

البته در مجموعه داده‌های آموزشی، تسک‌های مهندسی نرم‌افزار گنجانده نشده بودند که همین موضوع دلیل اصلی عملکرد ضعیف‌تر در بنچمارک‌های Terminal-Bench و SWE-bench Verified به شمار می‌رود.

سه دستاورد کلیدی که نحوه کارکرد سیستم را آشکار می‌کنند

1. ۱. یادگیری و مهارت میان نقش‌ها منتقل می‌شود

   مدل فقط روی مسیرهای حل مسأله آموزش می‌بیند، اما در کمال شگفتی، توانایی بهینه‌سازی جریان کار و قضاوت خروجی‌ها نیز در آن تقویت می‌شود! تطابق نظر ارزیاب درونی مدل با داوران خارجی (مدل‌های پرچمدار) از ۷۳ درصد به ۹۳ درصد افزایش یافت که نشان می‌دهد سیستم واقعاً یاد می‌گیرد پیشرفت‌های واقعی را شناسایی و حفظ کند.

2. ۲. فعالیت تیمی مصرف توکن را بهینه می‌کند

   مدل تحت آموزش MASS پس از پردازش ۲۸.۸ میلیون توکن آموزشی به نرخ برد ۶۸.۳ درصدی رسید؛ در حالی که قوی‌ترین مدل در حالت تک‌ایجنتی پس از ۴۲ میلیون توکن تازه به نرخ برد ۶۴.۰ درصد دست پیدا کرد و ۱۳.۲ میلیون توکن بیش‌تر (حدود ۴۶ درصد مصرف بالا‌تر) سوزاند! داده‌های هماهنگ‌کننده یاد می‌دهند که چطور مسائل خرد شوند و کار‌ها دست‌به‌دست گردند، در حالی که داده‌های زیرایجنت‌ها مهارت اجرای دقیق وظایف محدود را آموزش می‌دهند.

3. ۳. کیفیت برنامه‌ریزی سقف چرخه را تعیین می‌کند

   در یک آزمایش تحلیلی که مدل پایه فقط به عنوان مجری نگه داشته شد، سپردن بهینه‌سازی جریان کار و داوری به GPT-5.5 باعث شد تنها در پنج تکرار، جریان‌های کاری برنده برای هر ۱۲ مسأله پیدا شوند. ارتقای تنهای ارزیاب تأثیر کمتری داشت. این نشان می‌دهد اگر در یک سیستم بخواهید فقط یک بخش را تقویت کنید، بهتر است قبل از هر چیز به سراغ بخش بهینه‌ساز جریان کار بروید.

قراردادها منطق اصلی کار را به دوش می‌کشند

در طول تکرارهای جستجو، جریان‌های کاری موفق اطلاعات اختصاصی هر تسک را از توضیحات کلی نقش‌ها و دستورالعمل‌ها جدا می‌کنند. در عوض، بخش «قراردادها» و «گام‌های انتقال» دقیق‌تر و پرجزئیات‌تر می‌شوند و خروجی‌های ملموس، بررسی‌ها و وابستگی‌های بین ایجنت‌ها را مشخص می‌سازند.

برای مثال، جریان کاری تکامل‌یافته در حوزه مالی به خوبی این الگو را نشان می‌دهد: متخصص داده پیش از آنکه ایجنت‌های بعدی به داده‌ها دسترسی پیدا کنند، باید تست‌های صریح عدم نشت داده را ارائه دهد؛ اقدامی که یک مسئولیت کلی و مبهم را به یک شرط تحویل اجباری و دقیق تبدیل می‌کند.

این روش در چه سناریوهایی معجزه می‌کند؟

سیستم MASS برای مسائلی ایده‌آل است که خروجی نهایی آن‌ها یک محصول یا گزارش مستدل و دفاع‌پذیر باشد، نه تسک‌هایی که جواب سیاه یا سفید (قبولی یا ردی خودکار) دارند. کاربردهای ایده‌آل شامل گزارش‌های پژوهشی، تحلیل‌های علم داده و پروژه‌های برنامه‌نویسی علمی است که نیازمند مستندات، خروجی‌های میانی و بازبینی‌های ساختاریافته هستند.

با این حال، نتایج نشان می‌دهد این روش فعلاً در مهندسی نرم‌افزار ضعیف‌تر ظاهر می‌شود؛ جایی که امتیازات مدل حتی از مدل پایه هم پایین‌تر رفت. همچنین جستجوی جریان کار همچنان پرنوسان است؛ ممکن است بهینه‌ساز به یک برنامه فوق‌العاده برسد اما نتواند آن را به شکل پیوسته ارتقا دهد. پژوهشگران پیشنهاد می‌کنند چیزی معادل با نرخ یادگیری (Learning Rate Scheduler) برای بهینه‌سازی متنی طراحی شود تا با نزدیک شدن به نتیجه نهایی، دامنه تغییرات محدودتر شود.

علاوه بر این، چون وزن‌های تمام زیرایجنت‌ها مشترک است، خطاهای آن‌ها با وجود نقش‌های مجزا همچنان به هم گره خورده است. یک فرض اشتباه ممکن است مراحل اجرا، داوری و بهینه‌سازی را رد کند و به عنوان یک پیشرفت ظاهری ثبت شود! نویسندگان تأکید می‌کنند که مطالعه این چرخه‌های خوداصلاحی یکدست تا زمانی که تصمیمات و حالت‌های خطای آن‌ها قابل ممیزی باشد، فوق‌العاده حیاتی است.

دسترسی به کدها و ملزومات بازتولید آزمایش‌ها

جزئیات دقیق این روش و آزمایش‌ها در مقاله علمی منتشر شده و پیاده‌سازی مرجع آن در مخزن گیت‌هاب پروژه به صورت عمومی در دسترس قرار دارد. حلقه اصلی این فرآیند با مدل متن‌باز Qwen3.6-27B و در محیط qwen-code اجرا می‌شود. البته برای بازتولید ارزیابی‌های خارجی گزارش‌شده، دسترسی به مدل‌های GPT-5.5 و Claude Opus 4.8 نیز ضروری خواهد بود.