آزمون جدید VideoZeroBench فاش کرد؛ مدل‌های برتر هوش مصنوعی ویدیویی نمی‌توانند شواهد تصویری را پیدا کنند

بنچمارک VideoZeroBench با هدف بررسی این موضوع طراحی شده است که آیا مدل‌های چندوجهی ویدیویی می‌توانند فریم‌ها و پیکسل‌های تأییدکننده یک پاسخ را شناسایی کنند یا خیر. پژوهشگران این پروژه، ۱۷ سامانه تجاری، متن‌باز و تخصصی را روی ۵۰۰ سؤال تأییدشده از ۱۳۸ ویدیوی طولانی محک زدند. در ارزیابی استاندارد و بدون راهنمایی سطح ۳، مدل Gemini-3-Pro با دقت ۱۷٫۰ درصد پیشتاز شد؛ اما در سطح ۵ که علاوه بر پاسخ صحیح، نیازمند تعیین دقیق بازه‌های زمانی و کادرهای مکانی است، دقت هیچ مدلی از ۱٫۰ درصد فراتر نرفت و بسیاری از آنها نمره صفر گرفتند.

امتیازهای بالایی که شواهد بصری را نادیده می‌گیرند

مدل‌های زبانی بزرگ چندوجهی ویدیویی اخیراً در بنچمارک‌هایی مانند VideoMME ،Video-MMMU و LongVideoBench به امتیازهای بالای ۸۰ درصد دست یافته‌اند. بااینحال، پروتکل‌های آزمون متداول در این بنچمارک‌ها تنها به درستی پاسخ نهایی نمره می‌دهند و از مدل نمی‌خواهند برچسب‌های زمانی ویدیو یا بخش‌های مشخصی از تصویر را برای اثبات ادعای خود ارائه کند.

نمرهدهی بر اساس پاسخ نهایی به‌تنهایی نمی‌تواند مشخص کند که آیا مدل از شواهد بصری مرتبط بهره برده است، یا اینکه بر پیشفرض‌های متنی و زبانی تکیه کرده، با توجه به نشانه‌های کلی صحنه به نتیجه رسیده، یا صرفاً دست به حدس تصادفی زده است. مقاله این بنچمارک معیارهای ارزیابی زمانی و مکانی تازهای اضافه می‌کند تا بتوان این مسیرهای مختلف پاسخدهی را بهآسانی از یکدیگر متمایز کرد.

ساختار وظایف و دشواری پرسش‌ها، مقایسه مستقیم نتایج این آزمون را با رکوردهای پیشین دشوار می‌سازد. بنچمارک VideoZeroBench از پاسخ‌های کاملاً دقیق و ویدیوهای طولانی استفاده می‌کند و سپس الزامات سختگیرانهتری را برای تطبیق دقیق پاسخ با شواهد بصری به کار می‌گیرد.

جزئیات آزمون ۵۰۰ سؤالی

این مجموعه‌داده که به‌صورت دستی گردآوری شده است، محتواهای ویدیویی طولانی را در ۱۳ زمینه گوناگون از جمله ورزش، بازی‌های ویدیویی، رانندگی، آموزش، موسیقی، ولاگ و پویانمایی در بر می‌گیرد.

برچسبگذاری‌های زمانی و مکانی با یکدیگر همپوشانی دارند، زیرا پاسخ به بسیاری از سؤال‌ها مستلزم مشخص کردن هر دو مؤلفه است. هم‌چنین میانگین اندک مساحت کادرها نشان می‌دهد که مدل‌ها برای رسیدن به پاسخ درست، غالباً باید جزئیات بصری بسیار ظریفی را درون یک فریم بزرگ پیدا کنند.