مدل‌های هوش مصنوعی در تعقیب نگاه انسان ناکام ماندند؛ نتایج بنچمارک جدید StreamGaze

بنچمارک جدید StreamGaze که در کنفرانس NeurIPS 2026 معرفی شده است، توانایی مدل‌های بزرگ زبانی چندوجهی را در استفاده از داده‌های حاصل از ردیابی نگاه چشم هنگام پردازش زنده ویدیوهای اول‌شخص به چالش می‌کشد. در این ارزیابی که شامل ۸٬۵۲۱ جفت پرسش و پاسخ در قالب ۱۰ وظیفه گوناگون بود، عملکرد تمام مدل‌های آزمایش‌شده بسیار پایین‌تر از انسان ثبت شد و بیشترین اختلاف عملکرد در وظایفی به چشم می‌خورد که نیازمند پیش‌بینی اقدامات بعدی کاربر بودند.

در ارزیابی جریانی و بلادرنگ، مدل باید فریم‌های ویدیویی را پشت سر هم پردازش کند و پیش از رسیدن فریم‌های آینده پاسخ مناسب را ارائه دهد. داده‌های ردیابی چشم، سیگنالی پیوسته درباره شیء یا ناحیه‌ای که توجه کاربر را به خود جلب کرده است به این فرآیند می‌افزایند. برای توسعه‌دهندگانی که دستیارهای واقعیت افزوده، ایجنت‌های پوشیدنی یا سیستم‌های نظارتی می‌سازند، این سیگنال می‌تواند در رفع ابهام از اشیای موجود در تصویر، درک قصد و نیت کاربر و ارائه پاسخ‌های به‌موقع و دقیق نقش کلیدی داشته باشد.

چرا دنبال کردن نگاه، پردازش ویدیوهای جریانی را متحول می‌کند؟

پیش از این، بنچمارک‌هایی مانند StreamingBench نشان داده بودند که حتی پیشرفته‌ترین مدل‌های پیشرو نیز در پاسخگویی به پرسش‌های مربوط به ویدیوهای برخط نسبت به انسان‌ها عقب‌تر هستند. با این حال، آن ارزیابی‌ها فقط استدلال زمانی را می‌سنجیدند و توانایی مدل‌ها را در تفسیر حرکات چشم بیننده آزمایش نمی‌کردند.

گجت‌های پوشیدنی متصل به سر مانند عینک‌های Aria متعلق به متا و هدست Vision Pro اپل، از ردیابی مسیر نگاه برای تشخیص محیط یا تعامل کاربر استفاده می‌کنند. یک دستیار هوشمند و آگاه به نگاه کاربر باید بتواند توالی مختصات چشمی را در طول زمان به اشیا و اعمال پیوند دهد و سپس در زمان تولید پاسخ، از همین ارتباط بهره ببرد؛ روندی کامل و زنجیره‌ای که بنچمارک StreamGaze تمامی مراحل آن را ارزیابی می‌کند.

از حرکات چشم تا ۸٬۵۲۱ پرسش تحلیلی

پژوهشگران این بنچمارک را بر اساس ویدیوهای اول‌شخص ضبط‌شده همراه با داده‌های دقیق ردیابی چشم طراحی کرده و برای این منظور از مجموعه‌داده‌هایی نظیر EGTEA، EgoExoLearn و HoloAssist کمک گرفته‌اند. خط لوله نیمه‌خودکار آن‌ها مسیرهای خام حرکت چشم را به پرسش‌هایی تبدیل می‌کند که مستقیماً به زمان‌ها و مکان‌های مشخصی از هر ویدیو متصل هستند.

1. استخراج نقاط تثبیت نگاه: این خط لوله مراحلی را شناسایی می‌کند که نگاه کاربر بر یک نقطه مشخص ثابت مانده است.