رونمایی از بنچمارک Science's Last Exam؛ پیشرفته‌ترین مدل‌های هوش مصنوعی در پژوهش علمی مستقل نمره صفر گرفتند

معرفی

بنچمارک Science's Last Exam (به‌اختصار SLE) یک شاخص ارزیابی جدید برای ایجنت‌های علمی است که توسط بنیاد AItonomy Foundation توسعه یافته است. وب‌سایت رسمی این پروژه از طریق آدرس sciences-last-exam.org در دسترس قرار دارد و پرسش اصلی آن یک چیز است: آیا هوش مصنوعی می‌تواند یک پژوهش علمی را از صفر تا صد انجام دهد؟

پژوهشگرانی از دانشگاه‌های استنفورد، آکسفورد، پرینستون و دیگر مراکز علمی به‌صورت مستقل در این پروژه مشارکت داشته‌اند. بر اساس مستندات منتشرشده، طراحی و بازبینی مسائل این آزمون توسط دانشجویان دکتری و پژوهشگران پسادکتری از حدود ۳۴ مؤسسه علمی در پنج کشور مختلف انجام شده است.

نکات برجسته این بنچمارک عبارت‌اند از:

• شامل ۱۱۳ مسئله عمومی در ۹ رشته علمی مختلف است
• دارای ۶ بخش عیب‌یابی توانمندی‌ها به‌همراه ۱ ارزیابی جامع پژوهشی از صفر تا صد است (بخش اجرای آزمایش‌های عملی در آزمایشگاه همچنان در حال ساخت و گسترش است)
• توانمندی‌های مورد سنجش شامل کشف فرضیه، برنامه‌ریزی پروتکل‌های علمی، محاسبات علمی، کار با نرم‌افزارهای تخصصی، مشاهده آزمایش‌ها و موارد دیگر است. در مسائل چرخه بسته، ایجنت‌ها باید به‌طور پیوسته فرضیه بسازند، آزمایش‌های مناسب را انتخاب کنند، مثال‌های نقض را مدیریت نمایند و خروجی‌های قابل راستی‌آزمایی تحویل دهند
• گزارش‌های اولیه نشان می‌دهد که در میان حدود ۸ پیکربندی مختلف از مدل‌های پیشرو، بهترین امتیاز ترکیبی حدود ۳۷.۵ از ۱۰۰ بوده که توسط ترکیب مدل Claude Opus 5 و ابزار Claude Code ثبت شده است؛ با این حال، در همین گزارش‌ها امتیاز تمامی مدل‌ها در مسیر پژوهش واقعیِ صفر تا صد، عدد صفر بوده است
• انتشار عمومی بسته‌های مسائل و راه‌اندازی کامل جدول رده‌بندی (Leaderboard) برای بازه زمانی ۶ نوامبر ۲۰۲۶ (۱۵ آبان ۱۴۰۵) برنامه‌ریزی شده است.

توضیحات و ساختار

مشکل بنچمارک‌های فعلی چیست؟

بیشتر بنچمارک‌های علمی موجود به پرسش و پاسخ‌های ساده، وظایف خرد و مجزا یا بازتولید مقالاتی که راه‌حل آن‌ها از قبل مشخص است، محدود می‌شوند. در مقابل، بنچمارک SLE یک چرخه کامل پژوهشی را هدف قرار داده است؛ چرخه‌ای که از فرضیه‌سازی شروع شده و با برنامه‌ریزی، محاسبات و اجرای نرم‌افزاری، مشاهده نتایج و در آینده اجرای آزمایشگاهی ادامه می‌یابد. هم‌چنین بررسی‌های پنهانی توسط متخصصان تعبیه شده است تا مشخص شود آیا نتایج به‌دست‌آمده واقعاً از نظر علمی معتبر هستند یا خیر.

ساختار آزمون

• عیب‌یابی توانمندی‌ها: این بخش دقیقاً مشخص می‌کند که مدل در کدام مهارت دچار شکست می‌شود (مرور ادبیات پژوهشی و فرضیه‌سازی، تدوین پروتکل، کدنویسی، کار با نرم‌افزارهای دارای رابط گرافیکی، مشاهده ویدیویی و غیره)
• پژوهش صفر تا صد در چرخه بسته: این بخش می‌سنجد که آیا ایجنت می‌تواند مهارت‌های مختلف را به یکدیگر متصل کند تا به دستاوردهای پژوهشی مستقل و قابل راستی‌آزمایی برسد یا خیر
• مسائل این بنچمارک به‌جای امتیازدهی بر اساس تست‌های چهارگزینه‌ای، بر پرسش‌های پژوهشی واقعی و خروجی‌های قابل بررسی تمرکز دارند.

محدودیت‌ها

• بخش‌های مربوط به پژوهش صفر تا صد و آزمایش‌های عملی هنوز در حال توسعه و گسترش هستند و ممکن است برخی از مدل‌های پیشرو هنوز در جدول رده‌بندی قرار نگرفته باشند
• امتیازهایی مانند ۳۷.۵ از ۱۰۰ مربوط به گزارش‌های اولیه زمان معرفی هستند؛ بنابراین برای مشاهده نتایج دقیق و به‌روز باید جدول رده‌بندی رسمی را ملاک قرار داد
• سطح دشواری و نحوه راستی‌آزمایی نتایج، وابستگی شدیدی به کیفیت طراحی مسائل توسط متخصصان هر حوزه دارد.

کاربرد و نحوه استفاده

این بنچمارک مناسب چه کسانی است؟

• آزمایشگاه‌ها و استارتاپ‌هایی که در زمینه ساخت ایجنت‌های علمی و خودکارسازی پژوهش فعالیت می‌کنند
• ارزیاب‌هایی که به بنچمارک‌های پژوهشی جامع نیاز دارند و جدول‌های پرسش و پاسخ صرف برایشان کافی نیست
• پژوهشگران حوزه‌های تخصصی که مایل‌اند مسائل پژوهشی واقعی خود را به این پروژه اضافه کنند.

نحوه شروع کار

1. به وب‌سایت رسمی پروژه در آدرس sciences-last-exam.org سر بزنید و بخش‌های وبلاگ، مستندات و مسائل (Tasks) را مطالعه کنید
2. بسته‌های مسائل عمومی را در محیط‌های اجرای ایجنت مانند Claude Code یا Codex اجرا و آزمایش کنید
3. از طریق بخش مشارکت (Contribute)، مسائل علمی دشوار خود را ثبت کنید تا نام شما نیز در فهرست نویسندگان همکار قرار گیرد
4. برای ارجاع علمی به این اثر می‌توانید از قالب زیر استفاده کنید: SLE Team, Science's Last Exam, 2026, https://sciences-last-exam.org/ .