همکاری دانشگاه UCLA و اپل؛ ابزار OpenVLHarness توان استدلال تصویری هوش مصنوعی را متحول میکند
پژوهشگران دانشگاه UCLA و شرکت اپل از فریمورک متن‌باز OpenVLHarness رونمایی کردند؛ ابزاری که بدون نیاز به آموزش مجدد، توان استدلال بصری و حل مسئله در مدلهای چندوجهی هوش مصنوعی را ارتقا می‌دهد. این سامانه با ترکیب ابزارهای تخصصی بینایی و حافظه چندوجهی، به مدل‌ها امکان تحلیل هوشمندانه تصاویر را می‌دهد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- ارتقای استدلال بصری بدون آموزش مجدد: فریمورک متن‌باز OpenVLHarness به مدلهای چندوجهی اجازه می‌دهد بدون صرف هزینه آموزشی، از ابزارهای تخصصی بینایی و کدنویسی پایتون برای تحلیل عمیق تصاویر استفاده کنند.
- بهبود چشمگیر در ۲۲ بنچمارک معتبر: این سامانه میانگین نمرات مدلهای مختلف از جمله خانواده Qwen و مدلهای پیشرفته را بین ۱۰ تا ۱۲ نمره در آزمونهای استاندارد هوش مصنوعی افزایش می‌دهد.
- معماری سهبخش و بهینه: هماهنگی لایه ابزارهای تخصصی، حافظه چندوجهی و عامل کدنویسی، باعث حل دقیق‌تر مسائل بصری با مصرف حداکثر ۳۷ درصد از هزینه توکن‌های پردازشی معمول می‌شود.
معرفی OpenVLHarness
فریمورک OpenVLHarness یک چارچوب استدلال چندوجهی بدون نیاز به آموزش (Training-free) است که بهدست پژوهشگران آزمایشگاه پردازش زبان طبیعی دانشگاه UCLA و شرکت اپل توسعه یافته است. هدف بنیادین این پروژه در یک جمله خلاصه می‌شود: «تبدیل هر مدل زبانی چندوجهی به یک تحلیلگر بصری مبتنی بر شواهد که مستقیماً در فضای بصری فکر میکند و کد مینویسد.»
مقاله علمی این پروژه با عنوان «OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory» در تاریخ ۱۹ اکتبر ۲۰۲۶ در پایگاه arXiv منتشر شده است (شناسه: 2610.26860). کد منبع پروژه بهصورت کاملاً متن‌باز و تحت مجوز MIT در گیت‌هاب در مخزن uclanlp/OpenVLHarness با حدود ۲۵۰ ستاره در دسترس قرار دارد و نسخه نمایشی آن در Hugging Face به‌همراه مجموعه‌دادههای ارزیابی عرضه شده است.
در ۲۵ اکتبر، پستی در شبکه اجتماعی اکس (توییتر سابق) این ابزار را معرفی کرد: «دانشگاه UCLA و اپل بهتازگی OpenVLHarness را منتشر کردهاند؛ فریمورکی متن‌باز که بدون نیاز به هیچگونه آموزش یا تیونینگ اضافی، توانایی استدلال بصری مدلهای هوش مصنوعی چندوجهی موجود را بهمیزان چشمگیری ارتقا می‌دهد.»
نحوه کارکرد سامانه
مدل با بهرهگیری از این سیستم، ابزارهای مختلف را انتخاب میکند، شواهد و خروجیهای بهدستآمده از تصویر را مورد بررسی قرار می‌دهد و فرایند تحلیل را تا رسیدن به پاسخ نهایی ادامه می‌دهد. ساختار کلی این فریمورک از سه بخش اصلی تشکیل شده است:
- لایه ابزارها و قابلیت‌ها (Capability layer): ۹ رابط تعاملی در سطح وظیفه که خروجی ابزارها را به مشاهداتی قابلفهم (شامل تصاویر نشانه‌گذاری‌شده، خلاصههای متنی و داده‌های عددی فشرده) برای مدل تبدیل می‌کنند.
- حافظه چندوجهی (Multimodal memory): تصاویر، کادرهای محدودکننده (Bounding Boxes)، ماسکهای تصویر، نقشههای عمق و مراجع وب برای تمام طول فرایند پاسخ به یک پرسش در حافظه باقی میمانند؛ با آغاز هر پرسش جدید، یک حافظه تازه و اختصاصی شکل می‌گیرد.
- عامل کدنویسی پایتون (Python Coding Agent): مدل اصلی با نوشتن کد در یک محیط اجرایی مجزا، محاسبات و استدلالهای ریاضی و هندسی را بر روی کادرهای ذخیرهشده، ماسکها، نقشههای عمق و سایر نتایج انجام می‌دهد.
۹ قابلیت کلیدی و ابزارهای پشتیبان
قابلیت | سیستم پیشفرض (Backend) |
|---|---|
مکان‌یابی بصری اشیا (Visual Grounding) | SAM 3 |
نویسه‌خوان نوری و تشخیص متن تصویر (OCR) | PaddleOCR-VL |
تخمین عمق و مسیر دوربین | Depth Anything 3 |
بزرگنمایی و زوم هدفمند | پردازش تصویر داخلی |
جستجوی متنی، جستجوی تصویری و بازخوانی صفحات وب | ترکیب Serper و Qwen |
عامل کدنویسی پایتون | مدل پایه به‌همراه مفسر محلی پایتون |
نتایج آزمایش‌ها (میانگین در ۲۲ بنچمارک معتبر)
مدل پایه (Backbone) | حالت پایه | به‌همراه OpenVLHarness |
|---|---|---|
Qwen3-VL-8B-Instruct | ۳۴.۲۴ | ۴۵.۴۱ |
Qwen3-VL-32B-Instruct | ۳۸.۳۰ | ۵۰.۹۲ |
Kimi K3 | ۵۶.۴۳ | ۶۶.۰۹ |
GPT-6 Astra | ۶۰.۲۷ | ۷۰.۱۷ |
بر اساس گزارش این مقاله، مدل GPT-6 Luna به کمک OpenVLHarness و در سطح پردازش متوسط (Medium Effort)، توانسته است مدل پایه، Codex و سامانه Visual Sketchpad را حتی در حداکثر توان پردازشی، با اختلافی معادل ۷.۷ تا ۸.۵ امتیاز شکست دهد؛ آن هم در حالی که حداکثر ۳۷ درصد از هزینه توکن مصرفی آنها را به کار گرفته است.
راهنمای استفاده و اجرا
- دموی آنلاین: این فریمورک در پلتفرم Hugging Face Space در آدرس
uclanlp/OpenVLHarnessقابل بررسی است (کافی است یک اندپوینت سازگار با فرمت Chat Completions شرکت OpenAI که از فراخوانی ابزار و ورودی تصویر پشتیبانی میکند متصل کنید؛ حلقه عامل هوشمند و ابزارهای ادراکی روی سرور پروژه اجرا می‌شوند). - اجرای محلی: نیازمند پایتون ۳.۱۰ یا بالاتر است و امکان نصب مستقیم از گیت‌هاب در آدرس
uclanlp/OpenVLHarnessفراهم است؛ تنظیمات پیشفرض این سیستم از هفت مدل پایه بررسی‌شده در مقاله، به‌همراه تمام اندازههای مدلهای Qwen3-VL Instruct و همچنین مدلهای OpenAI از GPT-5 تا GPT-6.1 پشتیبانی می‌کنند. - بازتولید نتایج ارزیابی: مجموعه‌دادهها بهصورت آزاد در Hugging Face به نشانی
uclanlp/OpenVLHarness-Evaluation-Datasetsدر دسترس پژوهشگران قرار دارد. - صفحه رسمی پروژه: اطلاعات تکمیلی در وبگاه openvlharness.github.io قابل مشاهده است.
این ابزار برای چه کسانی کاربرد دارد؟
- توسعه‌دهندگانی که می‌خواهند بدون صرف زمان و هزینه برای فاین‌تیونینگ (Fine-tuning)، مهارتهای شمارش اشیا، مکان‌یابی بصری، درک فضایی و جستجوی چندوجهی مدلهای زبانی خود را ارتقا دهند.
- پژوهشگرانی که در زمینه عاملهای بصری هوشمند و نحوه استفاده هوش مصنوعی از ابزارهای جانبی فعالیت می‌کنند.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
ابزار جدید 1Password؛ ورود ایمن ایجنت‌های هوش مصنوعی به حساب‌های کاربری بدون افشای رمز عبور
پلتفرم مدیریت رمز عبور 1Password ابزار جدیدی به نام 1Password for Agents معرفی کرده است که به ایجنت‌های هوش مصنوعی اجازه می‌دهد بدون دسترسی به رمزهای متنی، وارد حساب‌های کاربری شوند. در این سازوکار، کاربر درخواست ورود را در دستگاه شخصی خود تأیید میکند و سیستم به‌طور خودکار فرم لاگین را پر می‌نماید تا امنیت حساب‌ها کاملاً حفظ شود.
رونمایی علی‌بابا از مدل هوش مصنوعی Lambda-0؛ آموزش مهارتهای حرکتی به ربات‌های انسان‌نما با داده‌های انسانی
علی‌بابا با معرفی و متن‌باز کردن مدل پایه Lambda-0، روشی نوآورانه برای آموزش هم‌زمان راه رفتن و کار با دست‌ها در ربات‌های انسان‌نما ارائه کرده است. این مدل به‌جای داده‌های گران‌قیمت هدایت ربات، منحصراً از ۵۰۰ ساعت داده ویدیویی اول‌شخص انسان‌ها یاد می‌گیرد و سرعت جمع‌آوری داده‌ها را بیش از سه برابر افزایش می‌دهد.
معرفی ابزار متن‌باز TextFold؛ خلاصه کردن مقالات طولانی در پنج لایه با هوش مصنوعی
ابزار متن‌باز TextFold با رویکردی نوآورانه مقالات علمی و متون طولانی را به پنج لایه مختلف از جزئیات تقسیم میکند. این ابزار به کاربران امکان می‌دهد میان نقشه کلی مباحث و متن کامل جابه‌جا شوند و همواره پیوند خلاصه را با جملات اصلی حفظ کنند.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.