صدرنشینی GPT-6 Astra در بنچمارک علمی جدید؛ سقوط غیرمنتظره Gemini 4 Argon به رتبه پنجم

تغییر رده‌بندی مدل‌های پیشرو در بنچمارک علمی Science Index

شرکت Vals AI از بنچمارک Science Index رونمایی کرد؛ جدول رده‌بندی تازه‌ای با ضریب وزنی یکسان که عملکرد مدل‌ها را در نقش ایجنت‌های علمی مورد ارزیابی قرار می‌دهد. سه آزمون تشکیل‌دهنده این شاخص، هر سیستم را با یک مجموعه‌داده زیستی، یک محیط آزمایشی یا یک ترمینال شبیه‌سازی‌شده روبه‌رو می‌کنند و توانایی آن‌ها را در تحلیل داده‌ها، آزمودن فرضیه‌ها و تکمیل مراحل پژوهشی می‌سنجند.

جداول رده‌بندی عمومی معمولاً مهارت‌های کدنویسی، استدلال منطقی و دانش عمومی را با یکدیگر ترکیب می‌کنند. اما شاخص Science Index ترتیب کاملاً متفاوتی رقم زده است: مدل GPT-6 Astra که در جدول رده‌بندی عمومی Vals جایگاه هفتم را دارد، در اینجا رتبه نخست را به دست آورده است؛ در حالی که مدل Gemini 4 Argon از رتبه اول رده‌بندی عمومی، به جایگاه پنجم در حوزه علمی سقوط می‌کند. برای توسعه‌دهندگانی که به ساخت ایجنت‌های پژوهشی مشغولند، این جابه‌جایی مستقیماً بر انتخاب مدل مناسب، هزینه‌های عملیاتی و زمان تأخیر اثر می‌گذارد.

صدرنشینی Astra در میان مدعیان تازه

مدل GPT-6 Astra با کسب امتیاز ۶۵٫۰۹ درصد در صدر این شاخص قرار گرفته و با اختلاف ۵٫۴۶ واحد درصد از مدل GPT-6.1 Sol پیشی گرفته است. فاصله امتیاز مدل Sol با مدل Claude Sonnet 5.5 تنها ۰٫۵۱ واحد درصد است، اما هزینه هر آزمون با Sol فقط ۱٫۳۶ دلار برآورد می‌شود که در مقایسه با هزینه ۱۳٫۲۴ دلاری مدل Sonnet بسیار کمتر است و اجرای آزمون را هم در کمتر از نیمی از زمان به پایان می‌رساند. در بین ۵ مدل برتر، بیشترین هزینه گزارش‌شده به مدل Gemini 4 Argon تعلق دارد که برای هر آزمون به ۱۸٫۴۰ دلار می‌رسد.

ترکیب سه آزمون تخصصی در یک نمره نهایی

این شاخص با محاسبه میانگین حسابی نمرات سه بنچمارک مختلف شکل می‌گیرد و به هر آزمون، سهمی معادل یک‌سوم از نمره نهایی را اختصاص می‌دهد. این آزمون‌ها بخش‌های متفاوتی از فعالیت‌های علمی را پوشش می‌دهند؛ از استخراج معادلات پنهان گرفته تا تحلیل داده‌های زیستی و انجام وظایف پژوهشی مبتنی بر محیط ترمینال.

• بنچمارک MysteryMechanism (طراحی‌شده توسط Vals): ایجنت‌ها در این آزمون ۲۲۲ سازوکار پنهان را که از حوزه‌های زیست‌شناسی، فیزیک، شیمی، مهندسی، بوم‌شناسی و دینامیک انتزاعی برگرفته شده‌اند، بررسی می‌کنند. برای جلوگیری از حدس‌های سطحی، نام‌ها و سرنخ‌های مربوط به حوزه علمی حذف شده‌اند. هر ایجنت دو مشاهده اولیه ثبت‌شده بدون مداخله دریافت می‌کند، بودجه‌ای معادل ۲d + ۱ آزمایش دارد (که در آن d بعد مسئله را نشان می‌دهد) و در نهایت باید یک فرمول محاسباتی قابل اجرا ارائه دهد.
• بنچمارک BioMysteryBench (طراحی‌شده توسط آنتروپیک): در این آزمون، ایجنت‌ها به بررسی آزاد و کاوشگرانه مجموعه‌داده‌های واقعی زیست‌شناسی می‌پردازند تا به پرسش‌های حل‌نشده علمی پاسخ دهند. طراحان این بنچمارک بخشی از مسائل را فراتر از سطح توانایی متخصصان انسانی ارزیابی کرده‌اند تا امکان سنجش عملکرد هوش مصنوعی در سطوحی بالاتر از مهارت انسان فراهم باشد.
• بنچمارک Terminal-Bench-Science (طراحی‌شده توسط تیم پژوهشی Terminal-Bench): ایجنت‌ها در این آزمون مراحل و فرآیندهای پژوهشی را از طریق یک محیط خط فرمان (شل) در رشته‌های علوم زیستی، فیزیک، علوم زمین، ریاضیات و علوم مهندسی به انجام می‌رسانند.

میانگینی که عملکرد مدل‌های تخصصی را پنهان می‌کند

بررسی نتایج در حوزه‌های تخصصی مختلف نشان می‌دهد پیشتازی میان سه مدل تقسیم شده است. مدل GPT-6 Astra در علوم زیستی و ریاضیات جایگاه نخست را در اختیار دارد، Claude Sonnet 5.5 در فیزیک و علوم مهندسی پیشتاز است و GPT-6.1 Sol در علوم زمین رتبه اول را کسب کرده است. مدل Sonnet با وجود کسب رتبه سوم در مجموع شاخص، در حوزه علوم زمین در جایگاه یازدهم قرار می‌گیرد؛ واقعیتی که نشان می‌دهد نمره ترکیبی می‌تواند نقاط ضعف یک مدل را برای کاربردهای عملی خاص بپوشاند.

پیروزی در بنچمارک‌های سه‌گانه نیز میان شرکت‌های سازنده تقسیم شده است. مدل Claude Sonnet 5.5 در بنچمارک BioMysteryBench رتبه نخست را در اختیار دارد، در حالی که GPT-6 Astra در دو آزمون MysteryMechanism و Terminal-Bench-Science پیشتاز است. از این رو، یک ایجنت بیوانفورماتیک، یک سامانه اتوماسیون آزمایشگاهی یا یک ایجنت خط فرمان چندرشته‌ای ممکن است بر اساس همین جدول کلی، اولویت‌های کاملاً متفاوتی را در انتخاب مدل در نظر بگیرند.

آزمون‌های ناشناس، استراتژی واقعی ایجنت‌ها را نمایان می‌کنند

آزمون MysteryMechanism با حذف نام سازوکارها و برچسب‌های حوزه علمی، امکان بازیابی مستقیم و حفظی اطلاعات را به حداقل می‌رساند. گزارش‌های Vals نشان می‌دهد در حدود ۹۰ درصد از موارد موفق مدل Astra، این سیستم هرگز حوزه علمی پنهان مسئله را شناسایی نکرده است. این الگو نشان می‌دهد موفقیت مدل از فرآیند استنتاج سازوکار سرچشمه می‌گیرد، هرچند داده‌های عملکردی به‌تنهایی نمی‌توانند احتمال بهره‌گیری مدل از الگوهای ساختاری آشنا را کاملاً رد کنند.

تیم ارزیابی Vals متوجه تفاوت‌های راهبردی میان مدل‌ها در شیوه انجام آزمایش‌ها نیز شد. مدل Astra تمایل داشت آزمایش‌ها را به‌صورت متوالی پیش ببرد و فرضیه‌های رقیب را مرحله‌به‌مرحله حذف کند، در حالی که Claude Opus 5.5 معمولاً در همان مراحل اولیه روی یک فرمول پیشنهادی متمرکز می‌شد. این تفاوت رفتاری هنگام کار با داده‌های دارای نویز، بودجه آزمایشی محدود یا عملیات پرهزینه آزمایشگاهی، بر قابلیت اطمینان ایجنت اثر چشمگیری خواهد گذاشت.

بررسی میزان مصرف بودجه استدلال نیز یک چالش عملیاتی مهم را نمایان کرده است. طبق داده‌های Vals، افزایش تلاش استدلالی به بالاترین حد ممکن می‌تواند پس از تثبیت دقت در سطحی مشخص، هزینه‌ها را تا ۲۰ برابر افزایش دهد. توسعه‌دهندگان می‌توانند با ارزیابی سطوح مختلف استدلال در هر چرخه کاری و انتخاب پایین‌ترین تنظیمی که دقت را حفظ می‌کند، این هزینه‌های سنگین را کنترل نمایند.

انتخاب بر اساس نیاز کاری و اعتبارسنجی در محیط واقعی

به‌کارگیری ایجنت‌های علمی نیازمند توجه به متغیرهای گوناگونی است که نمی‌توان همه آن‌ها را در یک نمره خلاصه کرد: رشته علمی، نوع وظیفه، بودجه مالی، تأخیر پاسخ‌دهی و ابزارهای مورد استفاده. بررسی نتایج بنچمارک MysteryMechanism و نتایج بنچمارک BioMysteryBench داده‌های دقیق‌تری درباره هزینه، زمان پاسخ و ضریب خطای هر مدل برای مقایسه دقیق‌تر فراهم می‌کند.

• تطبیق با نوع پروژه: بنچمارک و حوزه علمی متناسب با اهداف واقعی فرآیند پژوهشی خود را مبنای تصمیم‌گیری قرار دهید.
• محاسبه هزینه‌های عملیاتی: بودجه مورد نیاز را با در نظر گرفتن حجم کاری مورد انتظار، سطح استدلال و احتمال تکرار درخواست‌ها برآورد کنید.
• ثبت دقیق پیکربندی سیستم: نسخه مدل، ساختار ایجنت (Scaffold)، پرامپت‌ها، دسترسی ابزارها، محدودیت‌های زمانی و تنظیمات استنتاج را مستندسازی کنید.
• آزمایش روی داده‌های ناشناخته: کارایی سیستم را با داده‌ها و مسائلی که در فرآیند طراحی و تنظیم پرامپت‌ها استفاده نشده‌اند، ارزیابی نمایید.

تیم توسعه‌دهنده Vals اعلام کرده است که در گذر زمان، بنچمارک‌های علمی بیشتری را به این شاخص اضافه خواهد کرد. از آنجا که ترکیب آزمون‌ها بر میانگین نمرات اثر مستقیم می‌گذارد، تیم‌های پژوهشی باید تاریخ سنجش، نسخه بنچمارک‌ها، نگارش مدل و تنظیمات پردازش استنتاج را ثبت کنند. نتایج فعلی به‌خوبی نشان می‌دهد که ارزیابی بر مبنای نوع وظیفه واقعی می‌تواند هم مدل انتخابی و هم هزینه‌های اجرای آن را به‌کلی متحول کند.