شاخص جنجالی هرمس؛ رده‌بندی دقیق ایجنت‌های هوش مصنوعی بر اساس کیفیت و هزینه واقعی

شاخص هرمس؛ رده‌بندی ایجنت‌های هوش مصنوعی بر اساس کیفیت و هزینه واقعی

مجموعه تحقیقاتی نوس ریسرچ (Nous Research) به‌تازگی لیدربورد جدیدی به نام شاخص هرمس (Hermes Index) را رونمایی کرده است؛ معیاری تازه که عملکرد و هزینه عملیاتی مدل‌های هوش مصنوعی را درون یک چرخه واقعی ایجنتی مقایسه می‌کند. این شاخص میانگین نتایج چهار بنچمارک معتبر ایجنت‌ها را در محیط اجرایی یکسانِ «هرمس ایجنت» محاسبه کرده و در کنار امتیاز هر مدل، میانگین هزینه دلاری آن به ازای هر تسک را هم گزارش می‌دهد. کنار هم قرار گرفتن این دو عدد، تعادل ظریف بین کارایی و هزینه را شفاف می‌کند؛ نکته کلیدی مهمی که رده‌بندی‌های صرفاً امتیازی همیشه از آن غافل می‌شوند.

در این ارزیابی، هر مدل در چهار بنچمارک مختلف شامل Hermes Bench ،TerminalBench 4 ،TerminalBench Science و SkillsBench محک می‌خورد و شاخص نهایی، میانگین امتیازات و هزینه‌ها در تمام این آزمون‌هاست. تمامی آزمون‌ها با متد pass@1 انجام شده‌اند، یعنی هر مدل برای حل هر تسک فقط یک شانس و فرصت دارد. همچنین در مدل‌هایی که امکان تنظیم سطح استدلال وجود داشته، تلاش استدلالی (Reasoning effort) روی حداکثر (High) تنظیم شده است. اجرای همه مدل‌ها روی یک فریم‌ورک مشترک تضمین می‌کند که تمامی ایجنت‌ها در یک محیط عملیاتی و شرایط پردازشی کاملاً یکسان وظایفشان را دریافت کنند.

پیشتازی مقتدرانه اوپوس و خط‌شکنی مدل‌های اقتصادی

جدول منتشرشده از این لیدربورد نشان می‌دهد که مدل Claude Opus 5.5 جایگاه نخست را مقتدرانه تصاحب کرده و بعد از آن، مدل‌های GPT 6 Astra و Claude Sonnet 5.5 در رتبه‌های دوم و سوم قرار دارند. جدول زیر پنج مدل برتر جدول به‌همراه دو گزینه اقتصادی و ارزان‌قیمت را نشان می‌دهد که روی «مرز بهره‌وری اقتصادی» جای گرفته‌اند.

مدل Claude Opus 5.5 موفق شده ۷.۰۶ امتیاز بیش‌تر از GPT 6 Astra کسب کند، در حالی که هزینه آن برای هر تسک کم‌تر از نصف رقیبش است! از طرف دیگر، Sonnet 5.5 با هزینه‌ای کم‌تر از یک‌چهارم مدل Astra توانسته جایگاه سوم را به خود اختصاص دهد. نوس ریسرچ شش مدل را روی مرز پارتو (Pareto Frontier) شناسایی کرده است: Claude Opus 5.5 ،Claude Sonnet 5.5 ،GPT 6 Sol ،DeepSeek V4.1 Flash ،GPT 6 Luna و Ling 3.0 Flash. یک مدل زمانی به این مرز طلایی می‌رسد که هیچ مدل دیگری نتواند هم‌زمان هم ارزان‌تر از آن باشد و هم امتیاز بالاتری ثبت کند.

چهار بنچمارک جدی برای شبیه‌سازی کار‌های واقعی ایجنت‌ها

سه بخش از این ارزیابی از بنچمارک‌های موجود دنیای ایجنت‌ها قرض گرفته شده‌اند: TerminalBench 4 ،TerminalBench Science و SkillsBench. نوس ریسرچ همچنین آزمون اختصاصی Hermes Bench را با ۱۵۰ تسک متنوع در ۲۵ دسته‌بندی مختلف اضافه کرده که حوزه‌هایی مثل تحقیق و پژوهش، کار با ابزارها، حافظه، ایمنی، نمودارها، هنر و اسکیل‌های ویژه هرمس را پوشش می‌دهد. در این آزمون‌ها، به هر ایجنت یک محیط کاری (Workspace) شامل فایل‌های واقعی داده می‌شود، برخی تسک‌ها دارای مراحل گفت‌وگوی تکمیلی هستند و سیستم‌های ارزیابی، فایل‌های تولیدشده نهایی و وضعیت کلی محیط را بررسی می‌کنند.

ترکیب وظایف در بنچمارک اختصاصی هرمس شامل موارد زیر است:

• ۸۷ تسک اسکیل (مهارتی): شامل جستجوی کار، اولویت‌بندی ایمیل‌ها، رسم دیاگرام، تناسب اندام، تحلیل داده‌های ورزشی و انرژی، کار با نقشه، بازبینی کد، پایگاه‌های ویکی و مقالات arXiv.
• ۴۳ تسک پژوهشی و تحقیقاتی: شامل مقایسه و تطبیق داده‌ها، حل تناقض میان منابع، زمان‌بندی، فرایند خرید، راستی‌آزمایی مستندات و حفظ کار‌های موجود.
• ۲۰ تسک تکمیلی: شامل پردازش‌های تصویری، حافظه، کار با ابزار‌های مرورگر و خودداری امنیتی از اجرای دستورات مخرب گیت (Git).

بنچمارک هرمس از ترکیب بررسی‌های دقیق قطعی و داوری مبتنی بر مدل‌های زبانی بهره می‌برد:

• ۶۴ تسک با اعتبارسنجی خودکار فایل‌ها، وضعیت محیط و شواهد استفاده از ابزار‌ها داوری می‌شوند.
• ۷۷ تسک از ترکیب بررسی‌های قطعی با یک مدل زبانی داور (LLM Judge) بر اساس معیارهای مشخص امتیاز می‌گیرند.
• ۱ تسک به ارزیابی دقیق مبتنی بر استانداردهای مدل داور متکی است.
• ۸ تسک بصری هر دیاگرام خروجی را سه بار بررسی کرده و میانگین نمرات ثبت‌شده را لحاظ می‌کنند.

افشای پاسخ‌ها، حذف برخی داده‌ها و نتایج مشروط

نتایج آزمون TerminalBench 4 در این رده‌بندی چهار تسک سنگین پردازنده گرافیکی (GPU) را در بر نمی‌گیرد، بنابراین شاخص هرمس نسخه سبک‌تری از این بنچمارک را پوشش داده است. علاوه بر این، وجود علامت ستاره در کنار نام مدل‌ها روی لیدربورد نشان‌دهنده اجرای ناقص یا برآورد تقریبی هزینه‌هاست که نیازمند اجرای مجدد خواهد بود؛ در حال حاضر آمار‌های مربوط به Claude Opus 5.5 و Claude Sonnet 5.5 در بنچمارک TerminalBench 4 با همین نشان مشخص شده‌اند.

نکته جالب و عجیب این بود که برخی از ایجنت‌ها در حین آزمون SkillsBench توانستند مخزن عمومی این بنچمارک را در اینترنت پیدا کرده و مستقیماً از پاسخ‌های منتشرشده آن استفاده کنند! به همین خاطر، جدول رده‌بندی یک نمره تمیز (Clean Score) بدون احتساب تسک‌های لو رفته ارائه داده و امتیاز خام را هم جداگانه نمایش می‌دهد. تفاوت چشمگیر میان نمرات خام و نمرات تمیز در مدل‌هایی نظیر Grok 4.7 ،Gemini Flash 3.8 و DeepSeek V4.1 Flash به‌خوبی نشان می‌دهد پدیده درز بنچمارک (Leakage) تا چه اندازه می‌تواند نتایج واقعی را دستخوش تغییر کند.

شاخص هرمس؛ راهنمای عملی برای هدایت و بودجه‌بندی ایجنت‌ها

اجرای تمام مدل‌ها روی فریم‌ورک یکسان هرمس ایجنت (Hermes Agent)، اختلاف‌های ناشی از محیط‌های اجرایی اختصاصی و تنظیمات مختلف کدگشایی را به حداقل می‌رساند. گزارش دقیق هزینه در کنار کارایی به تیم‌های فنی کمک می‌کند تصمیم‌های هوشمندانه‌تری برای روتینگ (مسیریابی هوشمند وظایف) بگیرند؛ مثلاً تصمیم بگیرند که آیا می‌توان از یک مدل واحد برای تمام کار‌ها استفاده کرد یا بهتر است مدل‌های گران‌قیمت را فقط برای مراحل حساس و تسک‌های پیچیده رزرو کرد.

البته باید توجه داشت که این نتایج کاملاً وابسته به فریم‌ورک هرمس ایجنت، ترکیب همین تسک‌ها، تنظیمات استدلال بالا (High Reasoning) و ارزیابی تک‌تلاشی (pass@1) هستند. استفاده از فریم‌ورک‌های دیگر، کاهش بودجه محاسباتی استدلال، تلاش‌های مکرر یا ابزار‌های اختصاصی محیط پروداکشن می‌تواند هم کارایی و هم هزینه‌ها را به کلی تغییر دهد. علاوه بر این، تعرفه‌های ارائه‌دهندگان و میزان مصرف توکن نیز همواره در حال تغییر است؛ بنابراین تیم‌های توسعه باید مدل‌های منتخب را حتماً در پروژه‌های واقعی خود نیز اعتبارسنجی کنند.

بر اساس قیمت‌های اعلام‌شده، مدل DeepSeek V4.1 Flash با هزینه ناچیز ۰.۲۵۹ دلار به ازای هر تسک، امتیاز ۳۶.۹۱ را به ثبت می‌رساند، در حالی که اجرای GPT 6 Astra برای هر تسک ۱۱.۶۱ دلار هزینه برمی‌دارد و امتیاز ۵۶.۲۵ را کسب می‌کند. از سوی دیگر، Sonnet 5.5 تنها با ۰.۵۹ دلار هزینه بیش‌تر نسبت به GPT 6 Sol، جهش امتیازی ۹.۰۴ پله‌ای را ثبت کرده و مدل پرچمدار Opus 5.5 هم با ۲.۱۷ دلار هزینه بیش‌تر نسبت به Sonnet، بیش از ۱۰.۱۷ امتیاز به کارایی اضافه می‌کند. این آمار‌های ملموس، معیارهای شفاف و دقیقی در اختیار مهندسان نرم‌افزار قرار می‌دهد تا مدل پیش‌فرض مناسب را انتخاب کنند، لایه‌های ارتقا (Escalation) را مشخص سازند و هزینه‌های عملیاتی ایجنت‌ها را در مقیاس بزرگ به بهترین شکل مدیریت کنند.