دانشگاه جیائو تانگ شانگهای با بنچمارک AirQA عملکرد ایجنت‌های هوش مصنوعی را محک می‌زند

بنچمارک AirQA ایجنت‌های تحلیل مقاله را در میدانی واقعی محک می‌زند

تیم‌های پژوهشی بیش از هر زمان دیگری برای جست‌وجو، مقایسه و خلاصه‌سازی مقالات هوش مصنوعی به ایجنت‌های مبتنی بر مدل‌های زبانی بزرگ تکیه می‌کنند. اکنون تیمی از محققان دانشگاه جیائو تانگ شانگهای بنچمارکی به نام AirQA طراحی کرده‌اند تا بسنجند آیا این سیستم‌ها به پرسش‌های پژوهشی واقعی پاسخی دقیق می‌دهند یا خیر. طبق توضیحات ارائه‌شده در مقاله علمی AirQA که در کنفرانس بین‌المللی ICLR ۲۰۲۶ پذیرفته شده است، این بنچمارک بخش‌های مختلف هر پاسخ را با اسکریپت‌های اعتبارسنجی پارامتریک در پایتون نمره‌دهی می‌کند و این مجموعه ارزیابی را با فریم‌ورکی اختصاصی برای تولید داده‌های آموزشیِ مبتنی بر ابزار پیوند می‌زند.

چرا ارزیابی ایجنت‌های علمی به معیارهای سخت‌گیرانه‌تری نیاز دارد؟

بنچمارک‌های پیشین در حوزه پرسش و پاسخ علمی معمولاً میزان درک یک مقاله مشخص یا بازیابی فکت‌های کوتاه از مجموعه‌ای بزرگ‌تر از اسناد را می‌سنجیدند؛ اما فرآیندهای کاری پژوهشگران به قابلیت‌های بسیار گسترده‌تری نیاز دارد. پژوهشگران نیازمند یافتن یک تصویر یا نمودار خاص، مقایسه نتایج میان چندین مقاله، استخراج متادیتا و دریافت خروجی‌های ساختاریافته نظیر فهرست نویسندگان یا ردیف‌های یک جدول هستند.

آموزش ایجنت‌ها نیز با چالشی مشابه روبه‌رو است. ثبت دقیق و باکیفیت جلسات پژوهشیِ چندمرحله‌ای بسیار دشوار و کم‌یاب است؛ زیرا هر نمونه آموزشی به یک پرسش، یک پاسخ تأییدشده و توالی معتبری از جست‌وجوی اسناد و فراخوانی ابزارها نیاز دارد. در این میان، AirQA وظیفه ارزیابی عملکرد را بر عهده دارد و فریم‌ورک مکمل آن به نام ExTrActor مسیرهای عملیاتی لازم را برای مرحله پس‌آموزش تولید می‌کند.

ویژگی‌ها و ساختار درونی بنچمارک AirQA

بنچمارک AirQA شامل ۱٬۲۴۶ نمونه ارزیابی با برچسب انسانی است که از میان ۱۳٬۹۴۸ مقاله حوزه هوش مصنوعی گردآوری شده‌اند. سؤالات چندوجوهی این بنچمارک بخش‌های مختلفی شامل متن، جدول‌ها، تصویرها، فرمول‌ها و متادیتای مقالات را پوشش می‌دهند.