تاج‌گذاری کلود Opus 5.5 در لیدربورد Arena.ai؛ تغییر فرمول سنجش ایجنت‌ها به نفع آنتروپیک تمام شد!

پلتفرم Arena.ai معیار Bash Reliability را جایگزین Bash Recovery کرد

پلتفرم Arena.ai معیار قدیمی Bash Recovery (بازیابی پس از خطا) را کنار گذاشته و شاخص جدید Bash Reliability (قابلیت اطمینان در خط فرمان) را در لیدربورد Agent Arena جایگزین کرده است. این به‌روزرسانی با تحلیل بیش از ۲.۵ میلیون نشست تعاملی و زنده ایجنت‌ها، رده‌بندی ۵۲ مدل پیشتاز دنیای هوش مصنوعی را از نو محاسبه کرده است. در جدول جدید، مدل Claude Opus 5.5 (نسخه Max) در صدر جدول رده‌بندی کلی تکیه زده و مدل‌های شرکت آنتروپیک (Anthropic) چهار جایگاه از پنج رتبه برتر قابلیت اطمینان در اجرای دستورات شل را از آن خود کرده‌اند.

آزمونی سخت‌گیرانه‌تر برای فراخوانی دستورات شل

معیار قبلی یعنی Bash Recovery، بیش‌تر روی این موضوع تأکید داشت که آیا یک ایجنت بعد از شکست خوردن یک دستور خط فرمان می‌تواند خود را جمع‌وجور کرده و خطا را برطرف کند یا نه. اما معیار جدید Bash Reliability، کیفیت همان دستوری را ارزیابی می‌کند که خروجی را تولید کرده است. در این شیوه، هر بار که ایجنت خودش مسبب بروز خطا باشد — مثل تایپ اشتباه یک فلگ (Flag) یا وجود باگ در اسکریپت تولیدشده — فراخوانی به عنوان یک شکست قطعی ثبت می‌شود.

از سوی دیگر، تست‌هایی که درست اجرا شوند و نقصی را در کد کشف کنند، اجرای موفقیت‌آمیز به حساب می‌آیند. حتی جستجوهایی که هیچ نتیجه‌ای برنمی‌گردانند هم موفق قلمداد می‌شوند؛ چرا که دستور دقیقاً همان‌طور که انتظار می‌رفت اجرا شده است. البته خطاهایی که خارج از کنترل ایجنت هستند، مثل قطعی شبکه یا اختلال سرور، از چرخه امتیازدهی معاف شده‌اند و جریمه‌ای در پی ندارند.

سیستم آرنا نرخ Bash Reliability را بر اساس خطاهای ناشی از عملکرد خود ایجنت در میان تمامی فراخوانی‌های شمول امتیاز محاسبه می‌کند. طبیعتاً هر چقدر نرخ شکست بالا‌تر برود، امتیاز کلی مدل یعنی «بهبود خالص» (Net Improvement) در لیدربورد افت می‌کند. بنابراین مدل‌هایی که دستورات درست را در همان اولین تلاش صادر می‌کنند، دیگر گرفتار جریمه شکست نمی‌شوند؛ حتی اگر مدلی دیگر بتواند با فراخوانی‌های بعدی خطای اولیه‌اش را رفع کند.

تسخیر ۱۴ رتبه نخست توسط مدل‌های تجاری و انحصاری

امتیاز درخشان Claude Opus 5.5 بر پایه ۵,۶۸۶ نشست عملیاتی به دست آمده است. نکته جالب توجه اینجاست که مدل‌های انحصاری و تجاری، تمام ۱۴ جایگاه اول لیدربورد را قرق کرده‌اند. بالا‌ترین مدل‌های با وزن باز (Open-weight) در این جدول، مدل GLM 5.2 و مدل MiMo V2.6 Pro متعلق به شیائومی هستند که هر دو تقریباً ۱۰ درصد با پیشتاز کل لیدربورد فاصله دارند.

تصاحب چهار جایگاه برتر اجرای شل توسط آنتروپیک

خانواده مدل‌های کلود به طور ویژه برای استفاده از ابزار‌ها در محیط Claude Code، به خصوص جریان‌های کاری خط فرمان، بهینه‌سازی و تنظیم دقیق شده‌اند. در سوی دیگر، مدل GPT 6.1 Sol با وجود کسب رتبه دوم در جدول کلی، در شاخص قابلیت اطمینان شل امتیاز ۲.۶۳ درصدی ثبت کرده است. از آنجا که نمره کل «بهبود خالص» از ترکیب پنج سیگنال مختلف حاصل می‌شود، عملکرد قدرتمندتر این مدل در سایر بخش‌ها توانسته نمره پایین‌تر آن در شل را جبران کند.

پلتفرم آرنا چه مواردی را شکست در نظر می‌گیرد؟

پلتفرم Arena.ai سیگنال‌های خود را از ردپای تعاملات زنده کاربران استخراج می‌کند؛ شامل نوبت‌های گفتگو، اصلاحات، خطاها، تأییدیه‌های صریح و بازخوردهای ارائه‌شده. به همین خاطر، برچسبی که روی هر رویداد زده می‌شود، تعیین می‌کند که لیدربورد به چه نوع رفتاری پاداش می‌دهد.

در روش قبلی یعنی Bash Recovery، مدلی که مدام خطا می‌کرد می‌توانست صرفاً با سر و سامان دادن به دستورات و تعمیر آن‌ها امتیاز قابل‌توجهی دشت کند! اما در رویکرد Bash Reliability، خطایی که توسط خود ایجنت ایجاد شده مستقیماً به پای مدل نوشته می‌شود؛ حتی اگر مدل در دستورات بعدی با موفقیت آن را برطرف کرده باشد.

شاخص قابلیت اطمینان شل در کنار چهار سیگنال دیگر شامل موفقیت تأییدشده (Confirmed Success)، تمجید در برابر شکایت (Praise vs Complaint)، هدایت‌پذیری (Steerability) و توهم ابزار (Tool Hallucination) امتیاز رده‌بندی کلی را شکل می‌دهد. بخش تعریف سیگنال‌های آرنا سازوکار ترکیب این معیارها در امتیاز نهایی «بهبود خالص» را به طور کامل تشریح کرده است.

فراخوانی یک ابزار زمانی «توهم» به حساب می‌آید که مدل یک نام ابزار من‌درآوردی بسازد، از پارامترهای ناموجود استفاده کند یا قابلیتی را هدف بگیرد که در دسترس نیست. طبق گزارش آرنا، نرخ توهم ابزار برای اکثر مدل‌های پیشتاز زیر ۱ درصد است؛ اما مدل Mistral Large 4 با ثبت نرخ عجیب ۱۷.۶۵ درصدی، یک استثنای منفی و دورافتاده از بقیه محسوب می‌شود!

انتخاب مدل بر اساس نوع بار کاری

برای ایجنت‌های کدنویسی و اتوماسیون‌های وابسته به شل، معیار Bash Reliability سنجه بسیار دقیق‌تری از خطاهای ناشی از عملکرد مدل ارائه می‌دهد. با این حال، اجرای تست‌های اختصاصی برای هر محیط استقرار همچنان ضروری است؛ زیرا سیستم‌های عامل، گویش‌های مختلف خط فرمان، سطوح دسترسی، ساختار ابزار‌ها و هزینه تلاش‌های مجدد (Retry) در هر بستری تفاوت دارد.

1. بارهای کاری متکی بر خط فرمان: مدل‌های آنتروپیک در این شاخص پیشتاز هستند و در سناریوهایی که شکست یا تکرار دستور هزینه‌بر و پرریسک است، بهترین گزینه محسوب می‌شوند.
2. ایجنت‌های جامع و انتها به انتها (End-to-End): دو مدل Claude Opus 5.5 و GPT 6.1 Sol بالا‌ترین امتیاز بهبود خالص را در جدول کلی ثبت کرده‌اند.
3. استقرارهای مبتنی بر مدل‌های با وزن باز: دو مدل GLM 5.2 و MiMo V2.6 Pro بالا‌ترین جایگاه‌ها را در این دسته در اختیار دارند، گرچه همچنان با رقبای اختصاصی فاصله دارند.
4. ارزیابی در محیط محلی: پیش از انتخاب نهایی مدل، دستورات کلیدی را در محیط پروداکشن با دسترسی‌ها، ابزار‌ها و سیاست‌های تلاش مجدد مختص خودتان تست کنید.

آرنا اعلام کرده که امتیازات تاریخی و بازنگری‌شده Bash Reliability را به زودی در مجموعه‌داده‌های عمومی خود در هاگینگ فیس (Hugging Face) منتشر خواهد کرد تا توسعه‌دهندگان و پژوهشگران بتوانند نتایج را بر اساس این معیار بازنگری‌شده بازتولید و تحلیل کنند.