روتر هوشمند Max صدرنشین بنچمارک ایجنت‌ها شد؛ کاهش ۳۷.۵ درصدی هزینه‌ها بدون افت کیفیت

پلتفرم نام‌آشنای Arena از نسخه ارتقایافته روتر Max برای ورک‌فلوهای چندمرحله‌ای و تعاملی ایجنت‌ها رونمایی کرد. در حالی که نسخه‌های قبلی فقط از پس چت‌های ساده یا تسک‌های تصویری برمی‌آمدند، این روتر جدید به‌طور اختصاصی برای نشست‌های طولانی طراحی شده؛ نشست‌هایی که پای اجرای کد، فراخوانی ابزار‌ها (Tool Calls)، تلاش‌های مجدد و البته قبض‌های سنگین API در میان است! روتر Max با بررسی نوع تسک، پیچیدگی و برآورد هزینه‌ها، پیش‌بینی می‌کند که کدام مدل هوش مصنوعی برای انجام هر بخش بهترین و به‌صرفه‌ترین گزینه است.

هدف اصلی این روتر رسیدن به مرز بهینه «پارتو» میان عملکرد و هزینه است؛ یعنی وضعیتی که در آن ارتقای کیفیت بدون ولخرجی ممکن نیست و کاهش هزینه هم به افت کیفیت منجر نمی‌شود. در عمل، استراتژی Max بسیار هوشمندانه است: تسک‌های روتین و ساده‌تر را به مدل‌های ارزان‌قیمت می‌سپارد و مدل‌های گران‌قیمت و پرچمدار را فقط برای موقعیت‌های حساسی که واقعاً به قدرت آن‌ها نیاز است ذخیره می‌کند.

نتایج زنده: میانگین ۳.۲۷ دلار برای هر تسک

در تست‌های زنده پلتفرم Agent Arena، روتر Max توانست با امتیاز رسمی ۱۴.۷+ درصد و میانه هزینه ۳.۲۷ دلار برای هر تسک، در جایگاه نخست جدول تکیه بزند. نکته شگفت‌انگیز اینجاست که Max موفق شد مدل پیشتاز Fable 5.1 (Max) را با اختلاف ۰.۳ درصدی پشت سر بگذارد، در حالی که هزینه نهایی آن ۳۷.۵ درصد کم‌تر تمام شد!

این افت هزینه چشمگیر یعنی قبض نهایی استفاده از Max تقریباً به اندازه پنج‌هشتم رقیب اصلی تمام می‌شود، آن هم در شرایطی که عملکرد حتی کمی بالا‌تر رفته است. البته باید در نظر داشت که عدد ۳.۲۷ دلار یک «میانه آماری» است؛ یعنی نیمی از تسک‌ها هزینه‌ای بیش‌تر و نیمی کم‌تر داشته‌اند و ارقام ارائه‌شده هنوز وضعیت میانگین یا هزینه‌های ماکزیمم (Tail Costs) را نشان نمی‌دهند.

سه سیگنال کلیدی که مسیر هر تسک را تعیین می‌کنند

روتر Max سیاست‌های مسیریابی خود را از دل بیش از ۲.۵ میلیون نشست فعال در Agent Arena یاد گرفته است. این سیستم با تکیه بر سه عامل اصلی یعنی «پیچیدگی تسک»، «دسته‌بندی کار» و «هزینه مورد انتظار»، از بین مدل‌های در دسترس انتخاب می‌کند و برای کار‌های برنامه‌نویسی، چت و تسک‌های اداری، الگوهای کاملاً متفاوتی را به اجرا می‌گذارد.

این آمار تنها شامل مقاصد اصلی است و همه مسیرها را در بر نمی‌گیرد، به همین خاطر مجموع درصدها در هر بخش به ۱۰۰ نمی‌رسد. این توزیع به روشنی نشان می‌دهد که Max یک ساختار خشک و سلسله‌مراتبی ثابت برای همه پردازش‌ها در نظر نمی‌گیرد و مسیرها بسته به کار تغییر می‌کنند.

شفاف‌ترین الگوی صرفه‌جویی اقتصادی در نشست‌های کدنویسی دیده می‌شود. روتر Max پروژه‌هایی را که پتانسیل هزینه‌تراشی دارند اما احتمال بالایی هست که مدل Astra (Medium) از پس آن‌ها برآید، شناسایی کرده و آن‌ها را مستقیماً به این مدل ارزان‌تر می‌فرستد. به این ترتیب، بدون نیاز به درگیر کردن مداوم مدل‌های فوق‌العاده گران‌قیمت، هزینه‌های پروژه‌های طولانی به شدت کاهش می‌یابد.

پشتیبانی از انواع مدل‌ها؛ دست باز در انتخاب گزینه‌ها

تیم Arena روتر Max را سیستمی مستقل از مدل (Model-Agnostic) معرفی می‌کند؛ چرا که این مکانیزم مسیریابی را می‌توان برای مجموعه‌های گوناگونی از مدل‌ها آموزش داد. جالب است بدانید در آزمایشی پیشین که مدل‌های Fable 5 و Kimi K3 با هم ترکیب شده بودند، روتر Max بهبود خالص ۱۰.۷+ درصدی و میانه هزینه ۱.۰۶ دلار برای هر تسک را به ثبت رساند؛ یعنی ۰.۶ درصد بهتر از مدل Fable 5 (High) با ۵۴ درصد کاهش هزینه خیره‌کننده!

این تست‌ها ثابت می‌کنند که این متدولوژی روی ترکیب‌های متفاوتی از مدل‌ها جواب می‌دهد. البته فراموش نکنید که اضافه‌کردن هر سبد جدیدی از مدل‌ها، مستلزم جمع‌آوری داده‌های آموزشی تازه، ارزیابی دقیق و فرآیند دیپلوی اختصاصی است تا روتر بتواند میان آن‌ها تصمیم‌گیری کند.

نشست‌های طولانی و خطاهایی که گران تمام می‌شوند!

مسیریابی در دنیای ایجنت‌ها بسیار حساس‌تر و پرریسک‌تر از مسیریابی در چت‌های تک‌مرحله‌ای است؛ چرا که یک سناریوی ایجنتی ممکن است شامل ده‌ها فراخوانی متوالی مدل و ابزار‌های خارجی باشد. یک انتخاب اشتباه در همان ابتدای کار می‌تواند به چرخه‌های بیهوده تلاش مجدد، فراخوانی‌های اضافه ابزار‌ها و در نهایت شکست کل ورک‌فلو منجر شود؛ آن هم درست وقتی که منابع پردازشی و بودجه هنگفتی سوخته است!

پیش از این، Arena نسخه اولیه Max و یک روتر چندحالته (Multimodal) را برای امور چت و تصویر عرضه کرده بود. به گفته این پلتفرم، طی چهار ماه گذشته بیش از ۶۰ مدل ایجنتی مختلف ارزیابی شده‌اند که داده‌های غنی و فوق‌العاده‌ای را برای آموزش روتر فراهم کرده است. با این حال، صرف تست مدل‌های متعدد دلیلی بر عملکرد یکسان در خارج از محیط شبیه‌سازی‌شده Agent Arena نیست.

مسیریابی هوشمند میان مدل‌ها به عنوان یکی از ارکان جدی زیرساخت هوش مصنوعی مطرح شده؛ چرا که تنوع نیاز تسک‌ها بسیار فراتر از اختلاف قیمت مدل‌هاست. کار‌های روتین را مدل‌های میان‌رده به آسانی حل می‌کنند، در حالی که چالش‌های پیچیده به توانمندی مدل‌های پرچمدار نیاز دارند. سیستم‌هایی مانند حالت خودکار در پلتفرم OpenRouter و همچنین استارتاپ Martian نیز رویکردهای مشابهی را برای گزینش بهترین مدل در هر تسک دنبال می‌کنند.

دسترسی فعلی و وضعیت عرضه API

در حال حاضر پلتفرم Arena دسترسی رایگان و محدودی به نسخه برتر Max در حالت Agent Mode ارائه می‌دهد؛ نسخه‌ای که وظیفه تقسیم کار میان مدل‌های Fable 5.1 و Astra را بر عهده دارد. عرضه API اختصاصی در نقشه راه این پلتفرم قرار گرفته و علاقه‌مندان می‌توانند در لیست انتظار آن ثبت‌نام کنند، هرچند که هنوز زمان عرضه عمومی و تعرفه‌های رسمی آن اعلام نشده است.

نکاتی که پیش از استفاده در محیط عملیاتی باید بدانید

1. سازگاری با نوع کاربری (Evaluation Fit): دستاوردهای درخشان Max در چارچوب اختصاصی بنچمارک Arena سنجیده شده که روی چت، کدنویسی و کار‌های اداری متمرکز است. ترکیب متفاوتی از تسک‌ها در دنیای واقعی ممکن است مسیرها، هزینه‌ها و نرخ تکمیل متفاوتی رقم بزند.
2. تازگی داده‌های آموزشی (Training Freshness): روتر ترکیبی Fable 5.1 و Astra بر پایه داده‌های پیش از ۱۷ سپتامبر (قبل از معرفی Opus 5.5) آموزش دیده است. پشتیبانی از مدل‌های جدید‌تر نیازمند به‌روزرسانی سبد مدل‌ها و آموزش مجدد روتر است.
3. تاخیر و پایداری شبکه (Latency & Reliability): اضافه شدن مرحله مسیریابی یعنی یک گام تصمیم‌گیری و رفت‌وبرگشت شبکه‌ای بیش‌تر. برای ایجنت‌هایی که تاخیر زمانی در آن‌ها حیاتی است، باید مواردی مثل سربار شبکه، زمان انتظار (Timeout)، تلاش‌های مجدد و سیستم فال‌بک بررسی شوند.
4. نبود آمار تفصیلی توزیع‌ها: داده‌های فعلی فقط شامل میانه و امتیاز کلی هستند و جزئیاتی مثل صدک ۹۵ هزینه (p95 Cost)، تاخیر p95 و نرخ دقیق موفقیت یا توزیع شکست‌ها هنوز منتشر نشده است.

برای ارزیابی واقعی در پروژه‌های بزرگ، بهترین روش اجرای آزمایشی تسک‌های واقعی روی روتر Max و مقایسه آن با یک مدل ثابت است. تنها با بررسی نرخ تکمیل موفق، کل هزینه‌های پردازش و ابزارها، تاخیر p95 و خطاهای جبران‌نشده می‌توان مطمئن شد که ادعای صرفه‌جویی ۳۷.۵ درصدی، در پروژه شما هم تحقق پیدا می‌کند یا خیر.