بنچمارک ViBench 2.0 معرفی شد؛ سنجش ایجنت‌های هوش مصنوعی در ساخت کامل محصولات نرم‌افزاری

معرفی

بنچمارک ViBench 2.0 یک بستر ارزیابی پیشرفته برای سنجش عملکرد ایجنت‌های هوش مصنوعی در ساخت بلندمدت نرم‌افزار است که توسط شرکت Replit در تاریخ ۲۸ اکتبر ۲۰۲۶ منتشر شد. در این بنچمارک، ایجنت به‌جای اصلاح یک باگ در پایگاه کدی از پیش موجود، کار خود را از یک پروژه کاملاً خالی آغاز می‌کند، نسخه اولیه محصول را بر اساس مشخصاتی کوتاه می‌سازد و سپس تا ۱۸ قابلیت جدید را بدون اطلاع از مراحل بعدی به کد خود اضافه می‌کند. این بنچمارک به شاخص هوش تخصصی Fireworks موسوم به Specialized Intelligence Index (SII) پیوسته است.

اطلاعیه رسمی: وبلاگ Replit · جدول رده‌بندی: Fireworks SII · پست رونمایی در شبکه اجتماعی ایکس · مخزن کد: گیت‌هاب ViBench

توضیحات و نکات کلیدی

1. آنچه سنجیده می‌شود: این بنچمارک بررسی می‌کند که آیا یک ایجنت می‌تواند یک محصول کاربردی و کامل را به سرانجام برساند یا صرفاً توان انجام یک تسک کدنویسی مجزا را دارد. هر یک از ۱۷ محصول این آزمون بر اساس نمونه‌های واقعی نظیر Uber، GitHub یا Google Docs طراحی شده‌اند و در مجموع شامل ۲۴۱ درخواست قابلیت و ۵۴۴ طرح آزمون می‌شوند. از این میان، ۸ محصول با فرمت Harbor به‌صورت عمومی در دسترس قرار دارند و ۹ محصول دیگر به‌عنوان داده‌های ارزیابی پنهان نگهداری می‌شوند.
2. چرا این آزمون دشوار است؟ ایجنت هوش مصنوعی باید ساختار پایگاه داده و مسیرها را پیش از دیدن قابلیت‌های بعدی تعیین کند؛ در نتیجه قابلیت‌های جدید به‌راحتی می‌توانند کدهای قبلی را خراب کنند. آزمون‌ها مواردی چون استقرار صحیح روی پایگاه داده خالی، سازگاری با داده‌های موجود، شروط تغییرناپذیر سیستم (نظیر اینکه سهم هر فرد در تقسیم کرایه دقیقاً تا آخرین سنت برابر با کل مبلغ باشد)، مدیریت وضعیت‌های قدیمی و همروندی را بررسی می‌کنند.
3. نحوه نمره‌دهی: پس از پیاده‌سازی آخرین قابلیت، یک ایجنت ارزیاب بر پایه مدل Claude Opus 5.5 تمام طرح‌های آزمون را در یک مرورگر واقعی با کلیک کردن و تایپ کردن اجرا می‌کند. تیم Replit برای اطمینان از دقت این ناظر، ۳۴ باگ را به‌شکل عمدی در کدهای آزمایشی قرار داد و بازبینی نمره‌دهی توسط مدل GPT-6.1 Sol نیز صحت ۹۹٫۲ درصدی قبولی‌ها را تأیید کرد.
4. نتایج (معیار pass@1 بر میانگین ۴ بار ساخت برای هر محصول): مدل GPT-6.1 Sol با ثبت نرخ موفقیت ۶۴٫۷ درصدی (با هزینه ۱۲ دلار به ازای هر ساخت محصول) در صدر قرار دارد. پس از آن GPT-6 Astra به نرخ ۶۰٫۳ درصدی (۹۰ دلار)، مدل Claude Opus 5.5 به ۴۸٫۵ درصدی، مدل Claude Sonnet 5.5 به ۱۹٫۱ درصدی و Grok 4.7 به ۱٫۵ درصدی دست یافته‌اند. مدل DeepSeek V4.1 Flash نیز موفق به گذراندن ۷۷ درصد طرح‌های آزمون با هزینه حدود ۲٫۵۰ دلار شده است، اما هیچ مدل متن‌بازی موفق به تکمیل ۱۰۰ درصدی یک محصول کامل نشده است.
5. پیشینه: نسخه قبلی این بنچمارک یعنی ViBench 1.0 بر پایه برنامه‌های ساده‌تری مانند وایت‌برد و رزومه‌ساز طراحی شده بود و حالتی موسوم به Vibe-on-Vibe را مطرح کرد که در آن مدل‌ها کدهای نوشته‌شده توسط خودشان را گسترش می‌دادند. نسخه ۲٫۰ این مفهوم را به فرآیند تکامل یک محصول تمام‌عیار نرم‌افزاری تعمیم داده است.

نحوه استفاده

• مشاهده جدول رده‌بندی: برای مقایسه مدل‌ها از نظر نرخ موفقیت، هزینه ساخت هر محصول و زمان تکمیل پروژه می‌توانید به صفحه شاخص SII در Fireworks مراجعه کنید.
• اجرای شخصی بنچمارک: کدهای ۸ محصول عمومی و بستر اجرایی آن روی گیت‌هاب قرار دارد و برای مطالعه مقاله پژوهشی نیز می‌توانید به سایت vibench.ai رجوع کنید.

کاربردهای مناسب

• انتخاب مدل مناسب برای ایجنت‌های توسعه نرم‌افزار، به گونه‌ای که افزودن قابلیت‌های تازه باعث خرابی عملکردهای پیشین نشود.
• بررسی نسبت هزینه به قابلیت اطمینان، چراکه به‌عنوان مثال مدل Sol با ثبت نرخ موفقیتی نزدیک به Astra، هزینه ساخت بسیار کمتری به‌همراه دارد.
• انجام پژوهش‌های علمی در زمینه برنامه‌ریزی بلندمدت ایجنت‌های هوش مصنوعی.

نکته مهم

آمارهای ارائه‌شده بر اساس اجراهای رسمی پلتفرم Fireworks با محیط آزمایشی و تنظیمات مشخص به دست آمده‌اند؛ بنابراین پیکربندی‌های اختصاصی شما برای ایجنت‌ها ممکن است نتایج متفاوتی رقم بزند.