سخت‌گیری به سبک منتینرهای گیت‌هاب؛ بنچمارک FrontierCode 1.1 عیار واقعی ایجنت‌های کدنویسی را می‌سنجد!

معیار بنچمارک FrontierCode 1.1؛ کدی که منتینرها واقعاً مرج کنند!

بنچمارک جدید FrontierCode 1.1 از شرکت کاگنیشن (Cognition) سراغ ارزیابی ایجنت‌های کدنویسی رفته، اما با یک تفاوت اساسی: این‌که آیا پچ‌ها و تغییراتی که هوش مصنوعی می‌نویسد، واقعاً با الزامات، استانداردها، ساختار و قواعد کاری یک ریپازیتوری واقعی همخوانی دارند یا نه. پلتفرم تحلیلی Artificial Analysis نتایج مدل‌های پیشرو را با استفاده از فریم‌ورک متن‌باز اختصاصی خود به نام Stirrup منتشر کرده است؛ هرچند مجموعه اصلی شامل ۱۰۰ تسک اختصاصی این آزمون همچنان محرمانه باقی مانده است.

این لیدربورد با رتبه‌بندی‌های متداولی که صرفاً پاس شدن تست‌های واحد (Unit Tests) را ملاک قرار می‌دهند، زمین تا آسمان فرق دارد. در حال حاضر مدل Claude Opus 5.5 با کانفیگ گزارش‌شده «حداکثر با فال‌بک» (max with fallback) با امتیاز کلی ۵۲ درصد در صدر جدول خودنمایی می‌کند. ۹ مدل مختلف از ۶ آزمایشگاه هوش مصنوعی توانسته‌اند امتیازی بین ۴۳ تا ۵۲ درصد کسب کنند و البته جالب است بدانید که ۹ چالش از کل تسک‌ها، توسط هیچ‌کدام از مدل‌های تست‌شده در هیچ تلاشی حل نشدند!

البته باید دقت داشت که امتیاز ۵۲ درصدی یک نمره تجمعی و وزنی است و به این معنا نیست که مدل دقیقاً ۵۲ تسک از ۱۰۰ تسک را بدون نقص حل کرده باشد. در سیستم نمره‌دهی این بنچمارک، اگر کدی هرکدام از معیارهای حیاتی و مسدودکننده (Blocking) را رعایت نکند، نمره صفر می‌گیرد؛ اما اگر از این خط قرمزها رد شود، بر اساس سایر معیارهای کیفی نمره‌ای بین ۷۰ تا ۱۰۰ درصد دریافت می‌کند.

استانداردی سخت‌گیرانه به سبک منتینرهای واقعی

بسیاری از بنچمارک‌های مرسوم کدنویسی فقط چک می‌کنند که آیا کد ارائه‌شده از یک سری تست‌های ثابت عبور می‌کند یا نه. اما FrontierCode پا را فراتر گذاشته و بررسی می‌کند که آیا تغییرات در محدوده مجاز تسک باقی مانده‌اند، به سبک و قواعد کدنویسی پروژه احترام گذاشته‌اند، تست‌های مفید و معنادار به پروژه اضافه کرده‌اند و با معماری کلی سیستم سازگار هستند یا خیر. این معیارها دقیقاً روی پاشنه‌آشیل همیشگی ایجنت‌های کدنویسی دست گذاشته‌اند: کدی که از نظر عملکردی کار می‌کند، اما فایل‌های اضافی و بی‌مورد می‌سازد، کدهای نامربوط را دستکاری می‌کند یا ساختاری کثیف دارد که هیچ منتینر عاقلی حاضر نیست آن را مرج کند!

تیم کاگنیشن برای طراحی این آزمون‌ها با بیش از ۲۰ منتینر پروژه‌های متن‌باز همکاری کرده تا تسک‌ها را مستقیماً از دل ریپازیتوری‌های واقعی آن‌ها استخراج کند. طبق اعلام کاگنیشن، طراحی و بازبینی هر تسک بیش از ۴۰ ساعت زمان برده تا معیارهای دقیق و اختصاصی هر پروژه برای تأیید و مرج شدن پول‌ریکوئست‌ها تدوین شود.

پچ‌ها چطور امتیاز می‌گیرند؟ روند داوری چندمرحله‌ای

فرایند نمره‌دهی در این بنچمارک ترکیبی از تست‌های اجرایی، بررسی‌های ساختاری و بازبینی مبتنی بر مدل‌های زبانی است:

• تست‌های معکوس کلاسیک (Reverse-classical tests): تست‌های جدیدی که ایجنت نوشته روی کد باگ‌دار اولیه اجرا می‌شوند. این تست‌ها حتماً باید روی کد اولیه با شکست مواجه شوند تا ثابت شود باگ هدف را به‌درستی شناسایی کرده‌اند.
• بررسی محدوده تغییرات (Scope checks): اعمال محدودیت بر مرزهای فایل‌ها، حجم تغییرات (Diff-size) و تمرکز منطقی کد؛ به طوری که ایجنت نتواند با بازنویسی فله‌ای بخش‌های زیادی از پروژه، یک تسک کوچک را اصطلاحاً دور بزند.
• نمره‌دهی تطبیقی کلاسیک (Adaptive classical grading): استفاده از یک مدل زبانی برای تنظیم تست‌های مرجع با پیاده‌سازی‌های معتبری که ممکن است نام‌گذاری یا اینترفیس متفاوتی داشته باشند، تا تفاوت‌های ظاهری و بی‌اهمیت باعث رد شدن کد نشوند.
• معیارهای ارزیابی مبتنی بر پرامپت (Prompt-based rubrics): سنجش ویژگی‌هایی مانند خوانایی، استایل کد و هماهنگی معماری که پیاده‌سازی آن‌ها با تست‌های قطعی و نرم‌افزاری دشوار است.

هرکدام از معیارهای داوری در یکی از دو دسته مسدودکننده (Blocking) یا غیرمسدودکننده قرار می‌گیرند. هر تلاش ایجنت باید اول از همه تمام شروط مسدودکننده را بدون چون‌وچرا برآورده کند تا وارد بازی امتیازدهی شود؛ در غیر این صورت نمره کل تسک مستقیماً صفر خواهد شد و در صورت پاس شدن، امتیاز نهایی بر اساس وزن سایر معیارها محاسبه می‌شود.

رقابت داغ و نفس‌گیر در جدول لیدربورد

مدل Claude Opus 5.5 با نمره ۵۲ درصد پیشتاز است، اما تعقیب‌کننده‌ها آن‌قدر فاصله‌شان کم است که انتخاب نهایی مدل به فاکتورهایی مثل هزینه، تاخیر، محدودیت‌های استقرار و میزان حساسیت پروژه نسبت به تسک‌های ناموفق گره خورده است. در دسته مدل‌های با وزن باز (Open-weights)، مدل MiMo-V2.6-Pro با نمره ۴۵ درصد بهترین نتیجه را ثبت کرده و مدل‌های DeepSeek V4.1 Flash و Kimi K3 هر دو به نمره ۴۴ درصد رسیده‌اند. این اعداد نشان می‌دهند که بهترین مدل‌های وزن‌باز تنها ۷ تا ۸ درصد با صدرنشین انحصاری بازار فاصله دارند.

قابلیت وزن‌باز بودن به تیم‌ها امکان می‌دهد مدل را روی سرور‌های اختصاصی خود مستقر کنند و کنترل عمیق‌تری روی امنیت داده‌ها داشته باشند؛ هرچند این عنوان به معنای لایسنس کاملاً متن‌باز، استفاده تجاری بدون محدودیت یا دسترسی به داده‌های آموزشی نیست و تیم‌های مهندسی باید پیش‌نیازهای زیرساختی و حقوقی هر مدل را جداگانه بررسی کنند.

پای فاکتور هزینه در میان است؛ چرخشی اساسی در انتخاب مدل‌ها!

گزارش Artificial Analysis نشان می‌دهد میانگین هزینه اجرای هر تسک دامنه‌ای از ۰.۰۹ دلار برای GPT-6 Luna تا ۱۲.۰۰ دلار برای Claude Fable 5.1 دارد! در این میان، چهار کانفیگ بر روی مرز پارتو (Pareto frontier) از نظر نسبت هزینه به نمره قرار گرفته‌اند؛ یعنی هیچ مدل دیگری وجود ندارد که همزمان هم ارزان‌تر باشد و هم نمره بالاتری کسب کرده باشد:

مدل GPT-6.1 Sol با هزینه ۰.۸۱ دلار برای هر تسک توانسته به امتیاز ۴۹ درصدی Claude Fable 5.1 برسد، در حالی که هزینه‌اش کم‌تر از یک‌دهم میانگین ۱۲ دلاری مدل فیبل است! از طرف دیگر، Opus 5.5 با وجود این‌که ۳ درصد نمره بیشتری نسبت به Sol ثبت کرده، اما هزینه‌اش به ازای هر تسک حدود ۱۲.۵ برابر گران‌تر تمام می‌شود.

میزان مصرف توکن به خوبی دلیل این اختلاف قیمت سرسام‌آور را توجیه می‌کند. مدل‌های GPT-6 Astra و GPT-6.1 Sol در هر تسک به ترتیب میانگین ۲۷ هزار و ۳۳ هزار توکن خروجی تولید می‌کنند؛ در حالی که Opus 5.5 به طور متوسط ۱۵۷ هزار توکن و مدل Sonnet 5.5 به رقم نجومی ۲۳۶ هزار توکن خروجی می‌رسند! از طرفی از نظر سرعت، DeepSeek V4.1 Flash هر تسک را به طور میانگین ظرف حدود ۷ دقیقه حل می‌کند، در حالی که حل همین تسک‌ها برای Opus 5.5 نزدیک به ۱۷ دقیقه طول می‌کشد.

البته این هزینه‌ها و زمان‌های پردازش مربوط به کانفیگ‌ها، پرامپت‌ها و ساختار ارزیابی این بنچمارک هستند و هزینه‌های واقعی در محیط پروداکشن بسته به حجم ریپازیتوری، استراتژی‌های تلاش مجدد (Retry)، کش کردن کانتکست (Context Caching)، فراخوانی ابزار‌ها و ارائه‌دهنده سرویس ابری می‌تواند تغییر کند.

چرا رتبه‌بندی‌های نام‌آشنا به هم ریخته است؟ تفاوت با SWE-Bench

علت تفاوت رتبه‌های FrontierCode با بنچمارک معروفی مثل SWE-Bench این است که معیارهای آن اصلاً محدود به پاس شدن چند تست آماده نیست. آزمایش‌های METR که شرکت کاگنیشن به آن‌ها استناد کرده نشان می‌دهند پچ‌هایی که در بنچمارک‌های سنتی نمره قبولی می‌گیرند، در دنیای واقعی اغلب توسط منتینرهای انسانی رد می‌شوند! کاگنیشن گزارش داده که خطای دسته‌بندی در این بنچمارک ۸۱ درصد کم‌تر از سایر بنچمارک‌های پیشرو است و دلیل آن را تعریف معیارهای سفارشی برای هر ریپازیتوری و داوری چندمرحله‌ای عنوان کرده است.

نکته مهم دیگر این است که پرامپت‌های این آزمون راهنمایی‌های مستقیم و آماده کمتری به مدل می‌دهند. طول توضیحات هر تسک تقریباً یک‌سوم پرامپت‌های SWE-Bench Pro است؛ بنابراین ایجنت‌ها مجبورند قصد و هدف اصلی منتینر را با بررسی دقیق کدبیس و کانتکست ایشوها کشف کنند. این رویکرد باعث می‌شود توانایی برنامه‌ریزی و جستجو در کد پروژه همپای مهارت کدنویسی مدل به چالش کشیده شود.

با توجه به این نتایج، کدام مدل هوش مصنوعی برای ما مناسب‌تر است؟

• برای پروژه‌های پرتعداد با بودجه محدود: مدل GPT-6.1 Sol با نمره ۴۹ درصد و میانگین هزینه تنها ۰.۸۱ دلار برای هر تسک، یک شاهکار اقتصادی است.
• برای رسیدن به بالا‌ترین کیفیت و امتیاز ممکن: مدل Claude Opus 5.5 نمره ۵۲ درصدی را به نام خود ثبت کرده، البته با مصرف توکن فوق‌العاده بالا و هزینه‌ای بسیار سنگین‌تر.
• برای اولویت سرعت و مصرف کم توکن: مدل‌های سری GPT-6 توکن‌های خروجی بسیار کمتری مصرف می‌کنند و مدل DeepSeek V4.1 Flash با کم‌ترین زمان پردازش، رکورددار سرعت است.
• برای میزبانی روی سرور‌های اختصاصی (وزن‌باز): مدل MiMo-V2.6-Pro با امتیاز ۴۵ درصد پیشتاز بلامنازع این دسته است؛ البته با در نظر گرفتن ملزومات لایسنس و سخت‌افزار موردنیاز.

بنچمارک FrontierCode با ترکیب تست‌های عملی، کنترل محدوده تغییرات و بازبینی کیفی، معیاری واقع‌بینانه از نگهداشت‌پذیری (Maintainability) کد ارائه می‌دهد. خصوصی بودن تسک‌ها ریسک لو رفتن داده‌ها و مسمومیت بنچمارک (Benchmark Contamination) را به حداقل می‌رساند و فریم‌ورک متن‌باز آن امکان بازرسی نحوه اجرا را فراهم می‌کند. با این حال، استفاده از تسک‌های خصوصی و قضاوت به کمک مدل‌های زبانی باعث می‌شود حسابرسی مستقل کمی محدود باشد؛ از همین رو توصیه می‌شود تیم‌های مهندسی حتماً این نتایج را در کنار تست مدل‌ها روی ریپازیتوری‌های داخلی خود بسنجند.

نکته پایانی این‌که بالا‌ترین امتیاز این جدول یعنی ۵۲ درصد، به وضوح نشان می‌دهد هنوز ایجنت‌ها چالش‌های بزرگی در عبور از خط قرمزها و ارائه راه‌حل‌های بی‌نقص دارند. توسعه‌دهندگانی که سراغ استفاده از ایجنت‌های کدنویسی می‌روند، هنوز هم برای هرگونه تغییر حساس در سیستم‌های پروداکشن به ارزیابی‌های اختصاصی، فیلترهای بازبینی دقیق و تأیید نهایی برنامه‌نویسان انسانی نیاز خواهند داشت.