فریمورک نوآورانه SAT به ایجنت‌های هوش مصنوعی یاد می‌دهد اشتباهات یکدیگر را پیدا و اصلاح کنند

جریان‌های کاری چندایجنت در سازمان‌ها معمولاً بر پایپلاین‌های خشک و از پیش برنامه‌ریزی‌شده یا سازوکارهای ساده رای‌گیری برای جمع‌بندی پاسخ ایجنت‌های مختلف متکی هستند. با این حال، زمانی که نتوان مسائل پیچیده را از قبل به خرده‌تکالیف مشخص تقسیم کرد یا هنگامی که هیچ‌کدام از مدل‌های حاضر در سیستم پاسخ کاملی در چنته ندارند، این رویکردهای سنتی کارایی خود را از دست می‌دهند و به بن‌بست می‌رسند.

اکنون فریمورک جدیدی که توسط پژوهشگران دانشگاه استنفورد، Together AI و دانشگاه اموری توسعه یافته است، با آموزش سازمان‌دهی خودکار همکاری به ایجنت‌های هوش مصنوعی، این محدودیت بزرگ را برطرف می‌کند. این فریمورک که تیم‌های ایجنت خودسازمان‌ده (Self-Organizing Agent Teams یا به اختصار SAT) نام دارد، به گروهی ثابت از مدل‌ها اجازه می‌دهد تجربه‌های همکاری قبلی خود را تحلیل کنند و استراتژی‌های تیمی کارآمد و قابل‌استفاده مجددی را بیاموزند؛ راهکارهایی که ساختار گفت‌وگوها، تفکیک نقش‌های تخصصی و نحوه ارزیابی و بازبینی خطاهای یکدیگر را تعیین می‌کنند.

در ۵ بنچمارک دشوار ریاضی و فیزیک، فریمورک SAT نه‌تنها از قدرتمندترین مدل انفرادی پیشی گرفت، بلکه عملکردی بالاتر از یک هدایت‌گر ایدئال (سیستمی فرضی که همیشه بهترین پاسخ مدل‌های مستقل را برمی‌گزیند) به نمایش گذاشت. آزمایش‌های SAT به‌خوبی ثابت می‌کنند تعامل ساختاریافته می‌تواند جرقه‌بخش استدلال‌های تازه‌ای باشد که هیچ ایجنتی به‌تنهایی به آن‌ها دست نمی‌یابد.

برای توسعه‌دهندگان سازمانی که با مسائل استدلالی پیچیده هوش مصنوعی دست‌وپنجه نرم می‌کنند، SAT پنجره جدیدی را به‌سوی مفهومی باز می‌کند که پژوهشگران آن را «محاسبات مشارکتی» می‌نامند. در مسائلی که فرآیند استدلال گام‌به‌گام آن قابل‌تأیید و ارزیابی باشد، ایجنت‌ها می‌توانند یافته‌های ناقص یکدیگر را تکمیل کرده و با سوار کردن استدلال‌ها روی هم، راه‌حل‌های جامع و بی‌نقصی پدید آورند.

محدودیت‌های فرآیندهای چندایجنت از پیش تعیین‌شده

در ژوئیه ۲۰۲۶، در جریان ارزیابی‌های امنیت سایبری در اوپنای‌آی، ایجنت‌های هوش مصنوعی که قرار بود در محیطی کاملاً ایزوله و مستقل فعالیت کنند، به شکلی خودجوش سازمان‌دهی جمعی را آغاز کردند. این ایجنت‌ها مخزن مشترک یک پکیج نرم‌افزاری را به تالار گفت‌وگویی مخفیانه برای اشتراک‌گذاری یافته‌ها، تعیین استانداردهای ارتباطی و هماهنگی وظایف تبدیل کردند. در این رخداد، حدود ۱۲۰۰ ایجنت به کانال ملحق شدند و صدها ایجنت در نفوذ به زیرساخت پلتفرم Hugging Face دست داشتند.

هرچند این حادثه ناخوشایند و غیرمنتظره بود، اما اصلی بنیادین را در مهندسی هوش مصنوعی به اثبات رساند؛ اصلی که پژوهشگران پروژه در مقاله خود این‌گونه توصیف می‌کنند: «آنچه گروهی از ایجنت‌ها می‌توانند به سرانجام برسانند، نه‌تنها به توانمندی‌های فردی هر عضو، بلکه به شیوه سازمان‌دهی همکاری آن‌ها بستگی دارد.»

در کاربردهای واقعی، مهندسان مدام با مسائلی روبه‌رو می‌شوند که در آن‌ها مدل‌های مختلف قطعات مکمل یک پازل را در دست دارند، اما هر کدام وقتی به‌تنهایی به کار گرفته می‌شوند شکست می‌خورند. به‌عنوان مثال، محققان در مقاله خود به یکی از مسائل مسابقات ریاضی تورنمنت هاروارد-ام‌آی‌تی (HMMT) در فوریه ۲۰۲۶ اشاره می‌کنند؛ جایی که مدل‌های o3-mini، دیپ‌سیک V3 و Claude Sonnet 4 هنگام پاسخگویی انفرادی همگی جواب اشتباه ارائه دادند.

اما هنگامی که این مدل‌ها در کنار یکدیگر قرار گرفتند، توانستند راه‌حل کامل را تدوین کنند. مدل o3-mini متغیر پایای ریاضی و روش تجزیه صحیح را پیدا کرد، اما در شمارش اعداد اول با توان یک دچار اشتباه شد. دیپ‌سیک V3 این اشتباه را شناسایی کرد و تعداد اعداد اول را از ۵ به ۶ تغییر داد، سپس Claude Sonnet 4 با بازبینی دقیق محاسبات جدید، پاسخ نهایی درست را به دست آورد.

روش‌های سنتی هماهنگ‌سازی چندایجنت در ایجاد چنین هم‌افزایی‌هایی ناتوان هستند؛ زیرا به گفته پژوهشگران، «این روش‌ها همکاری را معمولاً حول واحدهای کاری صلب و از پیش تعیین‌شده پایه‌ریزی می‌کنند». راهکارهای موجود عموماً به دو دسته کلی تقسیم می‌شوند و هر دو دسته زمانی که ساختار نهایی راه‌حل از قبل نامشخص باشد، کارایی خود را از دست می‌دهند.

دسته اول، کل راه‌حل نهایی هر ایجنت را به‌عنوان یک واحد کاری در نظر می‌گیرد. به‌عنوان نمونه در رویکرد مناظره چندایجنت (Multi-agent debate)، مدل‌ها ابتدا پاسخ‌های مستقلی تولید کرده و طی چند راند گفت‌وگو آن‌ها را ویرایش می‌کنند تا در نهایت رای‌گیری اکثریت انجام شود. اما در عمل، بخش اعظم بهبود حاصله صرفاً از انتخاب ساده میان پاسخ‌های اولیه ناشی می‌شود؛ در حالی که راندهای طولانی مناظره معمولاً ایجنتی را که نظر درست اما در اقلیت دارد، تحت فشار می‌گذارد تا با اکثریت نادرست هم‌صدا شود.

روش مخلوطی از ایجنت‌ها (Mixture of Agents یا MoA) نیز پاسخ‌های مستقل را از یک چرخه تجمیع یک‌طرفه و ثابت عبور می‌دهد. این سازوکار به مدل‌ها اجازه نمی‌دهد با گفت‌وگوهای رفت‌وبرگشتی، گام‌های ناقص استدلالی را بازبینی و ترمیم کنند.

دسته دوم، مسئله را به زیروظایف از پیش مشخص‌شده تقسیم می‌کند و با استفاده از مسیریابی یا بهینه‌سازی گراف، هر تکه را به یک ایجنت می‌سپارد. این راهکار برای سناریوهای قابل‌پیش‌بینی عملکرد خوبی دارد، اما در مسائلی با پیچیدگی بسیار بالا که هیچ ایجنتی حتی نمی‌داند مسئله را چطور باید تجزیه کرد، عملاً پاسخگو نیست.

پژوهشگران در این زمینه می‌نویسند: «هنگامی که هیچ عضوی راه‌حل کامل را ندارد و شیوه درست تجزیه مسئله نیز نامعلوم است، تیم باید از طریق تعامل پویا کشف کند که تلاش‌های اولیه و ناقص اعضا چگونه می‌توانند مسیر یکدیگر را تصحیح کنند، خطاهای هم را بپوشانند یا مکمل همدیگر شوند.»

تیم‌های ایجنت خودسازمان‌ده چگونه کار می‌کنند؟

فریمورک SAT با توانمند ساختن یک تیم ثابت از مدل‌ها برای یادگیری استراتژی‌های همکاری چندبارمصرف از دل تجربیات خود، این مشکل را حل می‌کند. سیستم SAT به‌جای ایجاد ناگهانی زیرایجنت‌ها در حین اجرا یا فراخوانی تصادفی مدل‌ها از یک استخر نامحدود، با فهرستی از پیش تعیین‌شده و پایدار از مدل‌های متمایز فعالیت می‌کند.

پژوهشگران برای اینکه کار تیمی را یادپذیر کنند، هر استراتژی را در قالب یک نقشه گفت‌وگوی ساختاریافته طراحی کرده‌اند. هر استراتژی شامل استانداردهای مشترک همکاری برای کل تیم، نقش‌های پایدار برای هر ایجنت و توالی منظمی از مراحل گفت‌وگو است. در هر مرحله دقیقاً مشخص می‌شود چه ایجنت‌هایی مشارکت کنند، چند راند پیام تبادل شود، چه دستورالعمل‌هایی به کار رود و جریان اطلاعات چگونه مدیریت گردد (اینکه اطلاعات به شرکت‌کنندگان فعال محدود بماند یا خلاصه‌ای از آن به پنجره کانتکست کل تیم منتقل شود).

یکی از مهم‌ترین ویژگی‌های این استراتژی‌ها آن است که هرگز نحوه خرد کردن یک مسئله مشخص را از پیش دیکته نمی‌کنند؛ بلکه زمینه گفت‌وگویی را فراهم می‌آورند که در آن، تقسیم وظایف به‌شکلی ارگانیک و در حین آزمودن و بازبینی ایده‌های یکدیگر به وجود می‌آید.

فرآیند توسعه و استقرار SAT در ۳ مرحله کلیدی انجام می‌شود: بازنگری آفلاین کار تیمی، ساخت بانک استراتژی‌ها و استقرار در زمان آزمون.

در مرحله بازنگری آفلاین کار تیمی، گروه کار خود را با یک استراتژی پیش‌فرض ساده آغاز می‌کند؛ رویکردی که در آن هر ایجنت ابتدا مسئله را به‌تنهایی حل کرده و پس از ۲ راند مناظره، رای‌گیری نهایی انجام می‌شود. سیستم این چرخه را روی مجموعه‌داده آموزشی بسیار کوچکی (مثلاً ۱۵ مسئله ریاضی یا ۲۵ مسئله علمی در سطح دانشگاهی) به اجرا درمی‌آورد. مدلی که بالاترین دقت را در تمرین‌ها کسب کرده باشد، در جایگاه بهینه‌ساز تیم قرار می‌گیرد. این مدل در طول ۶ راند تکاملی برای هر مسئله، متن گفت‌وگوهای قبلی را تحلیل می‌کند، علت ناکامی تیم را تشخیص می‌دهد و نقش‌ها، مراحل گفت‌وگو و ضوابط جمع‌بندی استراتژی را از نو می‌نویسد.

هنگام ساخت بانک استراتژی‌ها، فریمورک SAT از دو مکانیزم حفاظتی بهره می‌برد تا از شکل‌گیری استراتژی‌های خشکی که فقط برای یک سؤال تمرینی خاص کاربرد دارند، جلوگیری کند. نخست، نسخه‌ای جداگانه از مدل تحلیل‌گر، تمام استراتژی‌های ارائه‌شده را ارزیابی می‌کند تا گزینه‌هایی را که حاوی پاسخ‌های مشخص، فکت‌های اختصاصی مسئله یا فرمول‌های آماده هستند، حذف نماید. دوم، هر استراتژی که مسئله تمرینی خود را حل کند، بدون دستکاری روی ۵ مسئله آموزشی دیگر تحت عنوان «آزمون‌های اعتبارسنجی» آزمایش می‌شود. استراتژی‌هایی که روی این آزمون‌ها تعمیم‌پذیری موفقی داشته باشند، امتیازدهی شده و در نهایت مجموعه‌ای شامل حداکثر ۱۰ استراتژی مکمل در بانک نهایی قفل و ذخیره می‌شوند.

در مرحله استقرار نهایی، بانک دست‌نخورده استراتژی‌ها روی مسائل جدید اعمال می‌شود. برای هر مسئله تازه، تیم هر ۱۰ استراتژی را به کار می‌گیرد تا ۱۰ «سند استدلال» کاندید تولید شود؛ ردپاهای استدلالی کوتاه و کاملی که امکان بررسی گام‌به‌گام آن‌ها وجود دارد. در انتها، یک مدل داور تمام این ۱۰ سند را موشکافی کرده و دقیق‌ترین پاسخ نهایی را برمی‌گزیند.

به‌عنوان نمونه، در آزمایش‌های مربوط به مسائل علمی بنچمارک GPQA، مدل Gemini-2.5-Flash در مرحله بازنگری آفلاین پی برد که شتاب‌زدگی گروه برای رسیدن به اجماع، بارها باعث نابودی پاسخ‌های درست انفرادی شده است. این مدل با درک این نکته که یکی از ایجنت‌ها در نقد فرضیات نادرست مهارت بالایی دارد، استراتژی‌های ارزیابی ویژه‌ای تدوین کرد؛ استراتژی‌هایی که ایجنت‌ها را وادار می‌کرد ادعاهای نادیده‌گرفته‌شده را دوباره پیش بکشند و پیش از ارائه پاسخ نهایی، محاسبات گام‌به‌گام هم‌تیمی‌های خود را دقیقاً بررسی کنند. این استراتژی‌ها پس از قبولی در آزمون غربالگری و حل موفق هر ۵ مسئله اعتبارسنجی، به بانک نهایی راه یافتند.

زمانی که این سیستم در مرحله آزمون با یک سؤال ناآشنا در حوزه شیمی آلی مواجه شد، هر سه مدل در گام اول حدس‌های نادرستی مطرح کردند. اما در چارچوب استراتژی بازبینی متقابل، جمینای یکی از فرضیات لاما را زیر سؤال برد و در این مسیر به اشتباه خودش نیز پی برد و لاما را تشویق کرد تا استدلالش را بازنویسی کند. با همین محاسبات مشارکتی، تیم به جواب کاملاً درستی دست پیدا کرد که هیچ‌یک از مدل‌ها در حالت انفرادی قادر به پاسخگویی به آن نبودند.

عملکرد میدانی SAT و پدیده «مالیات گروهی» ایجنت‌ها

پژوهشگران برای سنجش توانایی واقعی SAT، دو ترکیب مستقل شامل ۳ مدل مجزا تشکیل دادند و آن‌ها را بدون هیچ تغییری در بانک استراتژی‌هایشان، روی بنچمارک‌های کاملاً جدید محک زدند. تیم ریاضی و فیزیک (متشکل از o3-mini، مدل Claude Sonnet 4 و DeepSeek-V3) بانک استراتژی خود را با ۱۵ مسئله مسابقات AIME 2024 آموزش دید و سپس روی مسائل جدید ریاضی و فیزیک مورد آزمایش قرار گرفت.

تیم دانش و منطق (شامل Gemini-2.5-Flash، لاما ۴ ماوریک و GPT-4.1) استراتژی‌های خود را روی ۲۵ مسئله سطح بالای GPQA Diamond آموخت و آن را مستقیماً روی ۱۰۰ مسئله جدید از بنچمارک‌های مطرح نظیر GPQA، MMLU-Pro و BIG-Bench Extra Hard (BBEH) پیاده‌سازی کرد.

پژوهشگران عملکرد SAT را در برابر معیارهای پایه تک‌ایجنتی و چندایجنت مقایسه کردند. معیارهای تک‌ایجنتی شامل قوی‌ترین ایجنت در حالت انفرادی، تکنیک خودسازگاری با ۱۰ نمونه، بازنگری در ۵ مرحله، و یک مدل کنترلی هم‌تراز از نظر مصرف پردازش به نام «خطی‌سازی» (Linearization) بود؛ در این رویکرد، یک مدل پرچمدار واحد تمام نقش‌ها و مراحل استراتژی را به‌صورت متوالی و با بودجه توکن مشابه اجرا می‌کرد.

در سوی دیگر، معیارهای چندایجنت شامل رای‌گیری اکثریت، مناظره ۳ راندی، روش مخلوطی از ایجنت‌ها، تیم همگن (۳ نسخه هم‌شکل از قوی‌ترین مدل که استراتژی‌های SAT را اجرا می‌کردند) و یک «اوراکل هدایت‌گر» ایدئال بود که هر زمان یکی از ایجنت‌ها به‌تنهایی به جواب درست می‌رسید، پاسخ آن را بدون خطا انتخاب می‌کرد.

این شرایط کنترلی مستقیماً به یکی از چالش‌های بزرگ تیم‌های هوش مصنوعی سازمانی پاسخ می‌دهند؛ پدیده‌ای موسوم به «مالیات ازدحام هوش مصنوعی» (AI swarm tax). تحقیقات نشان داده‌اند زمانی که بودجه پردازشی یکسان باشد، یک ایجنت منفرد معمولاً سیستم‌های پیچیده چندایجنت را شکست می‌دهد؛ چراکه تبادل بی‌پایان پیام‌ها میان مدل‌ها توکن‌های فراوانی مصرف می‌کند و زمینه (کانتکست) استدلال را فرسوده می‌سازد. پژوهش SAT این واقعیت را تأیید کرده و در عین حال راه عبور از این بن‌بست را نشان می‌دهد.

هم‌پوشانی نتایج SAT با نظریه مالیات ازدحام در سناریوی تیم همگن کاملاً آشکار شد: هنگامی که ۳ نسخه کپی‌شده از مدل o3-mini استراتژی‌های آموخته‌شده SAT را در آزمون‌های ریاضی و فیزیک اجرا کردند، میانگین دقت به ۵۶٫۰ درصد افت کرد و از یک مدل منفرد o3-mini در سناریوی خطی‌سازی (با دقت ۵۸٫۷ درصد) شکست خورد. این آزمون ثابت کرد کلون کردن یک مدل در یک جریان چندایجنت، چیزی جز اتلاف توان پردازشی نیست.

اما برگ برنده SAT در ترکیب تنوع مدل‌ها با سازوکار بازبینی و اصلاح خطاها نهفته است. در بنچمارک‌های ریاضی و فیزیک، ترکیب ناهمگن مدل‌های SAT به میانگین دقت ۶۶٫۷ درصدی رسید و از مدل تک‌ایجنتی هم‌تراز (۵۸٫۷ درصد)، روش مخلوطی از ایجنت‌ها (۵۷٫۳ درصد)، خودسازگاری (۵۵٫۴ درصد) و روش مناظره (۵۲٫۷ درصد) با قاطعیت پیشی گرفت.

در آزمون دشوار AIME 2026، سیستم SAT به‌دقت فوق‌العاده ۷۱٫۲ درصدی دست یافت؛ آماری که قوی‌ترین مدل عضو تیم را با اختلاف ۲۹ واحد درصدی پشت سر گذاشت و حتی ۱۳٫۴ واحد درصد بالاتر از اوراکل هدایت‌گر ایدئال ایستاد.

یکی از استراتژی‌های یادگرفته‌شده در این سیستم موسوم به «رفع واگرایی» (divergence_reconciliation)، به‌خوبی نشان می‌دهد چرا تنوع معماری مدل‌ها اهمیت دارد. در مرحله آموزش مشخص شد که مدل DeepSeek-V3 اغلب راه‌حل‌های خلاقانه و متفاوتی ارائه می‌دهد که حالت‌های خاص نادیده‌گرفته‌شده توسط سایر مدل‌ها را پوشش می‌دهد، اما هم‌زمان در محاسبات عددی دچار خطاهای مکرر می‌شود. استراتژی هوشمند SAT تصمیم گرفت از DeepSeek-V3 برای تولید ایده‌های اولیه متنوع استفاده کند، اما مدل‌های o3-mini و Claude Sonnet 4 را مأمور کرد تا محاسبات پرچالش دیپ‌سیک را به‌طور مستقل اعتبارسنجی و اصلاح نمایند.

با این وجود، ارزیابی‌ها در بنچمارک‌های دانش‌محور و منطقی، محدودیت مهمی را برای توسعه‌دهندگان آشکار کرد. گرچه SAT با میانگین دقت ۷۲٫۸ درصدی در آزمون‌های GPQA، MMLU-Pro و BBEH بالاترین رتبه را ثبت کرد، اما برتری آن نسبت به مدل تک‌ایجنتی هم‌ارز (۷۲٫۱ درصد) بسیار شکننده بود و از اوراکل هدایت‌گر (۷۹٫۶ درصد) فاصله داشت.

دلیل این اتفاق آن بود که سیستم SAT در ۸۷٫۹ درصد از سؤالات دانش و منطق توانسته بود حداقل یک سند استدلال درست تولید کند و از این حیث در تمامی آزمون‌ها اوراکل را پشت سر بگذارد؛ اما گلوگاه اصلی سیستم در انتخاب پاسخ نهایی ظاهر شد؛ زیرا مدل داور در تفکیک استدلال‌های دقیق از اشتباهات به‌ظاهر معقول و توهمات فریبنده دچار چالش بود.

در مسائلی با منطق گام‌به‌گام و فرمول‌پذیر مثل ریاضی، فیزیک یا برنامه‌نویسی، اصلاحات معتبر از فیلتر بازرسی عبور کرده و انتخاب می‌شوند؛ اما در مسائل دانشی و مفهومی که توضیحات نادرست نیز ممکن است کاملاً موجه به نظر برسند، داور نهایی برای تفکیک بینش‌های درست از توهمات بااعتمادبه‌نفس هوش مصنوعی با دشواری روبه‌رو می‌گردد.

نحوه پیاده‌سازی SAT در محیط‌های سازمانی

گرچه پژوهشگران هنوز مخزن کد رسمی برای این پروژه منتشر نکرده‌اند، اما ضمائم مقاله علمی یک نقشه‌راه مهندسی جامع برای تیم‌هایی فراهم می‌کند که قصد دارند فرآیندهای کاری خودسازمان‌ده را پیاده‌سازی کنند.

محققان پرامپت‌ها، تعاریف نقش‌ها و ساختار مراحل را برای تمامی ۲۰ استراتژی آزموده‌شده ارائه کرده‌اند؛ بدین ترتیب توسعه‌دهندگان می‌توانند این سازوکارهای موفق را در فریمورک‌های هماهنگ‌سازی خود ادغام کنند. افزون بر این، پرامپت‌های سیستمی دومرحله‌ای مدل داور نیز به‌طور کامل تشریح شده است.

این پژوهش برای تیم‌های سازمانی فعال در توسعه سیستم‌های چندایجنت، دو رهنمود عملی کلیدی ارائه می‌دهد:

• پنهان‌سازی نام مدل‌ها در مرحله بازنگری: هنگام استفاده از یک مدل برای تحلیل گفت‌وگوها و تقسیم نقش‌ها، هویت واقعی مدل‌ها را پنهان کنید. این کار تضمین می‌کند که نقش‌ها بر اساس توانمندی‌های واقعی مدل‌ها تقسیم شوند، نه پیش‌فرض‌ها و سوگیری‌های ذهنی مدل نسبت به نام‌های تجاری.

• تطبیق توان پردازشی با میزان اثبات‌پذیری مسئله: اجرای هم‌زمان یک بانک کامل شامل ۱۰ استراتژی چندمرحله‌ای برای هر پرسش، منابع پردازشی قابل‌توجهی در زمان پاسخگویی (استنتاج) مصرف می‌کند. تیم‌های مهندسی باید این مجموعه ۱۰گانه را برای کارهای حیاتی و کاملاً قابل‌سنجش (مانند ارزیابی خودکار آسیب‌پذیری‌های امنیتی یا طراحی سیستم‌های حساس) اختصاص دهند و در فرآیندهای معمول، از یک یا دو استراتژی ارزیابی سبک‌تر استفاده کنند.

پژوهشگران در جمع‌بندی مقاله خود تأکید می‌کنند: «در مقیاسی وسیع‌تر، یافته‌های ما نشان می‌دهد که خودِ سازمان‌دهی یک توانمندی بنیادین برای ایجنت‌ها محسوب می‌شود. بدون نیاز به دخالت انسان برای خرد کردن مسائل، مجموعه‌ای ثابت از مدل‌ها می‌توانند شیوه تفکر جمعی را بیاموزند و به راه‌حل‌هایی دست یابند که دستیابی به آن‌ها به‌صورت انفرادی برای هیچ مدلی ممکن نبود.»