رونمایی از بنچمارک GDPx برای سنجش ایجنت‌ها؛ پیشتازی Claude Opus 5.5 در چالش‌های تخصصی

معرفی بنچمارک GDPx

بنچمارک GDPx جدیدترین بنچمارک جامع ارزیابی ایجنت‌ها از سوی مؤسسه پژوهشی SemiAnalysis است که در تاریخ ۲ نوامبر ۲۰۲۶ معرفی شد. این بنچمارک مدل‌های پیشرو را در ۲۰۶ تسک عملیاتی در ۱۱ حوزه تخصصی مورد ارزیابی قرار می‌دهد. به باور کارشناسان SemiAnalysis، این حوزه‌ها نخستین تریلیون دلار از درآمدهای اقتصادی هوش مصنوعی را به خود اختصاص خواهند داد؛ صنایعی کلیدی شامل طراحی تراشه، امنیت سایبری، زیست‌شناسی، مالی، حقوقی، معاملات الگوریتمی (Quant Trading)، خودبهبودبخشی بازگشتی (Recursive Self-Improvement)، طراحی سخت‌افزار، علم مواد، هم‌راستاسازی هوش مصنوعی و مهندسی نرم‌افزار که ارزش اقتصادی آن‌ها به‌جای سنجش سهم سنتی از تولید ناخالص داخلی (GDP)، بر اساس پتانسیل تجاری بالفعل تعیین شده است.

تسک‌های این مجموعه با همکاری ۱۴ شریک تخصصی در حوزه محیط‌های یاد‌گیری تقویتی (RL) و تحت یک فرآیند کنترل کیفیت بسیار سخت‌گیرانه ساخته شده‌اند. در جدول رده‌بندی نسخه اول (v1)، مدل Claude Opus 5.5 با کسب امتیاز کلی ۱۲٫۰ درصد در صدر ایستاده و بالاتر از Gemini 4 Carbon با ۱۰٫۹ درصد و GPT-6 Astra با ۹٫۶ درصد قرار گرفته است؛ با این حال، هیچ مدلی نتوانسته در تمامی حوزه‌ها برتری مطلق داشته باشد. مؤسسه SemiAnalysis قصد دارد این بنچمارک را هر ۳ تا ۶ ماه یک‌بار به‌روزرسانی کند.

تحلیل و بررسی

انتخاب‌ها و اصول طراحی

• انتخاب حوزه‌ها بر پایه نظریه تقاضای توکونومیکس SemiAnalysis انجام گرفته و بخش‌هایی با بازگشت سرمایه پایین‌تر مانند بخش‌های دولتی یا بیمه عمداً از آزمون کنار گذاشته شده‌اند.
• همکاران توسعه این آزمون شامل Aria ،Arcverex و Ergodex در حوزه تراشه، Arithmetic در حوزه امنیت سایبری، Latch Bio ،Living Context ،Chakra ،Third Moment ،Extrapolate ،Beautiful Machines ،ValenceForge/Emulated ،Fleet و Datacurve هستند.
• سیستم نمره‌دهی ترکیبی از ارزیابی باینری و جزئی با معیار pass@1 در سه تلاش است و تمامی حوزه‌ها وزن برابری در نمره نهایی دارند.
• بخشی از محیط‌های آزمایشی همکاران به‌صورت متن‌باز منتشر شده است، اما اکثر تسک‌ها خصوصی باقی می‌مانند تا از بهینه‌سازی تصنعی مدل‌ها روی داده‌های آزمون جلوگیری شود.

چرا نمرات پایین در این آزمون اهمیت دارد؟

سقف امتیازی حدود ۱۲ درصد کاملاً عمدی و هدفمند طراحی شده است؛ این مجموعه تستی به گونه‌ای ساخته شده تا حتی برای سیستم‌های پیشرفته‌ای در سطح GPT-6 و Claude Opus 5.5 چالش‌برانگیز باقی بماند تا امکان سنجش دقیق پیشرفت مدل‌ها در سال‌های آینده فراهم باشد.

نحوه دسترسی و استفاده

1. مشاهده جدول رده‌بندی زنده و بررسی جزئیات هر حوزه در وب‌سایت رسمی به نشانی https://gdpx.semianalysis.com/.
2. مطالعه پست روش‌شناسی در خبرنامه SemiAnalysis برای آشنایی با فهرست شرکا و فرآیند تضمین کیفیت آزمون‌ها.
3. بررسی دقیق عملکرد مدل‌ها در تفکیک حوزه‌ها (نه صرفاً نمره کلی) هنگام مقایسه ایجنت‌ها برای کاربردهای صنعتی خاص.
4. توجه به این نکته که بنچمارک هر چند ماه یک‌بار بازبینی می‌شود و نمرات نسخه اول صرفاً وضعیت فعلی مدل‌ها را نشان می‌دهند.