مدل سبک InternVL2-1B معرفی شد؛ برتری بر مدل‌های بینایی ۴ میلیاردی با مصرف کمتر از ۲ گیگابایت حافظه

مجموعه پژوهشی OpenGVLab از مدل InternVL2-1B به‌عنوان کوچک‌ترین نسخه از خانواده چندوجهی InternVL 2.0 رونمایی کرد. این مدل با داشتن حدود ۹۰۰ میلیون پارامتر، وظایفی نظیر نویسه‌خوان نوری (OCR)، تحلیل اسناد و نمودارها، مکان‌یابی اشیا در تصویر و پاسخ‌گویی به پرسش‌های ویدیویی را با مصرف حافظه‌ای به مراتب کمتر از مدل‌های چندوجهی رایج پردازش می‌کند.

خانواده کامل مدل‌های InternVL 2.0 طیف گسترده‌ای از ۱ میلیارد تا ۱۰۸ میلیارد پارامتر را در بر می‌گیرد. نسخه ۱ میلیاردی این خانواده به‌طور ویژه برای اجرای محلی روی سخت‌افزارهای کم‌مصرف، سرویس‌های حساس به تأخیر و تنظیم دقیق (Fine-tuning) در حوزه‌های تخصصی طراحی شده است و طبق گزارش‌ها، در برخی از وظایف بصری عملکردی هم‌سطح یا حتی برتر از مدل‌های ۲ تا ۴ میلیارد پارامتری ثبت می‌کند.

هسته زبانی فشرده و پردازش کاشی‌کاری تصویر

مدل InternVL2-1B یک رمزگذار بینایی ۳۰۰ میلیون پارامتری را با یک مدل زبانی فشرده و یک لایه نگاشت آموخته‌شده (MLP Projector) ترکیب می‌کند که وظیفه انتقال ویژگی‌های بصری به فضای برداری مدل زبانی را بر عهده دارد.

پیش‌پردازنده این مدل، با توجه به نسبت ابعاد تصویر ورودی، آن را به حداکثر ۱۲ بخش کاشی‌مانند تقسیم می‌کند و در صورت نیاز، یک تصویر بندانگشتی کلی نیز از کل نمای تصویر نگه می‌دارد. ثابت نگه داشتن ابعاد هر بخش در اندازه ۴۴۸ در ۴۴۸ پیکسل کمک می‌کند تا متن‌های ریز، داده‌ها و برچسب‌های موجود در نمودارها بر خلاف روش‌های فشرده‌سازی یکپارچه اسناد به تصاویر مربعی، وضوح خود را حفظ کرده و تار نشوند.

فرایند هم‌گام‌سازی دستوری (Instruction Tuning) در خانواده InternVL 2.0 شامل داده‌های متنی طولانی، چندین تصویر هم‌زمان و توالی‌های ویدیویی بوده است. این شیوه آموزشی ترکیبی به نسخه ۱ میلیاردی امکان می‌دهد با وجود محدودیت در ابعاد هسته زبانی خود، از گفتگوهای چندتصویری و تحلیل فریم‌به‌فریم ویدیوها با دقت بالا پشتیبانی کند.