اجرای آفلاین مدل هوش مصنوعی Qwen3-VL 8B ممکن شد؛ تحلیل تصویر و ویدیو تنها با ۵ گیگابایت رم

انتشار وزن‌های رسمی GGUF برای اجرای آفلاین مدل Qwen3-VL 8B

تیم Qwen وزن‌های رسمی فرمت GGUF را برای مدل بینایی-زبانی ۸ میلیارد پارامتری خود با نام Qwen3-VL-8B-Instruct منتشر کرد. این اقدام به توسعه‌دهندگان امکان می‌دهد تسک‌ها و پردازش‌های متنی، تصویری و ویدیویی را با ابزارهای رایج اجرای محلی پیاده‌سازی کنند، بدون اینکه نیازی به راه‌اندازی محیط سنگین کتابخانه Transformers یا پیش‌پردازنده‌های سفارشی بینایی ماشین داشته باشند.

فرمت GGUF تانسورها و متادیتای مدل را برای موتورهای اجرایی مانند llama.cpp و Ollama بسته‌بندی می‌کند. در این ساختار، تیم Qwen بخش مدل زبانی را از پروجکتور چندحالته یا همان mmproj تفکیک کرده است؛ ماژولی که وظیفه دارد داده‌های حاصل از پردازش تصویر و ویدیو را به بازنمایی‌هایی قابل‌درک برای مدل زبانی تبدیل کند.

انتخاب سطح دقت و فشرده‌سازی برای هر ماژول

حجم‌های اعلام‌شده صرفاً مربوط به مدل زبانی هستند و مواردی چون پروجکتور، حافظه موقت کلید-مقدار (KV Cache)، بافرهای پردازش تصویر و ویدیو و همچنین سربار پردازشی موتور اجرا را در بر نمی‌گیرند. با این حال، ترکیب مدل Q4_K_M با یک پروجکتور کوانتایزشده می‌تواند در طول کانتکست‌های متوسط روی بسیاری از سیستم‌های مجهز به ۱۶ گیگابایت حافظه یکپارچه (Unified Memory) به‌خوبی اجرا شود. البته با گسترش طول کانتکست، مصرف رم به‌شدت جهش پیدا می‌کند؛ مسئله‌ای که استفاده از تمام ظرفیت پنجره زمینه ۲۵۶ هزار توکنی را روی چنین سخت‌افزارهایی عملاً غیرممکن می‌سازد.

تفکیک فایل‌ها امکان ترکیب‌های منعطفی را به وجود می‌آورد؛ برای مثال می‌توان مدل زبانی ۴ بیتی را برای آزمایش‌های OCR و مکان‌یابی (Grounding) با پروجکتور دقیق F16 جفت کرد، یا در صورت کمبود شدید حافظه، هر دو مؤلفه را در حالت کوانتایزشده به کار گرفت. از آنجا که کوانتایزسازی می‌تواند بر دقت شناسایی و موقعیت‌یابی عناصر تأثیر بگذارد، توصیه می‌شود تنظیمات نسخه نهایی بر روی اسناد، اسکرین‌شات‌ها و ویدیوهای واقعی و نمونه به‌دقت ارزیابی شوند.