علی‌بابا با فشرده‌سازی Qwen2.5-VL به ۱.۵ گیگابایت، اجرای محلی هوش مصنوعی بینایی را ممکن کرد

تیم Qwen وابسته به علی‌بابا نسخه کوانتیزه‌شده چک‌پوینت AWQ مدل Qwen2.5-VL-3B-Instruct را منتشر کرد. امتیازهای ثبت‌شده برای این مدل در چهار بنچمارک مختلف نشان می‌دهد که فاصله عملکردی آن با نسخه اصلی BF16 تنها بین ۱.۲ تا ۲.۶ امتیاز است؛ در حالی که وزن‌های فشرده‌شده به فضای ذخیره‌سازی و پهنای باند حافظه بسیار کمتری نیاز دارند. این چک‌پوینت در پلتفرم Hugging Face به بیش از ۸۰۰ هزار بار دانلود رسیده است؛ آماری که البته دانلودهای تکراری فایل را نیز در بر می‌گیرد و معیار دقیقی از تعداد کاربران یکتا یا استقرارهای عملیاتی در محیط محصول ارائه نمی‌دهد.

مدل Qwen2.5-VL-3B کوچک‌ترین عضو این خانواده به شمار می‌رود که شامل مدل‌های بزرگ‌تر ۷ میلیاردی (7B) و ۷۲ میلیاردی (72B) نیز می‌شود. انتشار نسخه ۳ میلیاردی با کوانتیزاسیون AWQ به‌طور ویژه کاربردهایی نظیر پردازش محلی اسناد، درک عناصر و مکان‌یابی در رابط کاربری، تحلیل ویدیو و بازیابی داده‌های چندرسانه‌ای را روی سخت‌افزارهایی با محدودیت حافظه هدف قرار داده است؛ محیط‌هایی که معمولاً توان میزبانی مدل‌های چندحالته بزرگ را ندارند.

کاهش حجم حافظه وزن‌ها با روش AWQ

روش کوانتیزاسیون هوشمند وزن‌ها بر اساس فعال‌سازی (AWQ)، آمار فعال‌سازی لایه‌ها را بررسی می‌کند تا کانال‌هایی از وزن‌ها را که بیشترین اثر را در خروجی مدل دارند شناسایی کند. این روش سپس با مقیاس‌بندی مجدد این کانال‌ها خطای ناشی از کوانتیزاسیون را به حداقل می‌رساند و وزن‌های خطی پشتیبانی‌شده را با دقت ۴ بیتی ذخیره می‌کند. در عین حال، فعال‌سازی‌ها، حافظه کَش کلید و مقدار (KV Cache)، ضرایب مقیاس‌بندی و برخی از بخش‌های حیاتی مدل همچنان در سطوح دقت بالاتر باقی می‌مانند.

محاسبات ۴ بیتی حداقل فضای لازم برای ذخیره‌سازی ۳ میلیارد پارامتر کوانتیزه‌شده را به حدود ۱.۵ گیگابایت می‌رساند، در حالی که همین تعداد پارامتر در فرمت BF16 به حدود ۶ گیگابایت فضا نیاز دارد. البته کل چک‌پوینت و ردپای حافظه مدل در زمان اجرا به دلیل وجود متادیتا، تانسورهای با دقت بالاتر، ورودی‌های بصری، فعال‌سازی‌های موقت و حافظه کَش کلید و مقدار بیشتر از این رقم خواهد بود. با این حال، اجرای بسیاری از وظایف پردازشی روی یک پردازنده گرافیکی معمولی (Consumer GPU) کاملاً امکان‌پذیر است، هرچند که طول پنجره زمینه، رزولوشن تصویر، مدت‌زمان ویدیو، اندازه دسته داده‌ها (Batch Size) و پردازش هم‌زمان، میزان دقیق VRAM مورد نیاز را تعیین می‌کنند.

حفظ کامل قابلیت‌های چندحالته

این نسخه فشرده از چک‌پوینت BF16 مشتق شده و از همان پردازشگر، قالب گفت‌وگو و فرآیند تولید پاسخ استفاده می‌کند. تیم Qwen پشتیبانی از قابلیت‌های زیر را در این نسخه اعلام کرده است:

• خواندن متن، نمودارها، آیکون‌ها، تصاویر گرافیکی و ساختار صفحات در انواع تصاویر.
• استخراج داده‌های ساختاریافته از فاکتورها، فرم‌ها، جدول‌ها و سایر اسناد اسکن‌شده.
• تشخیص و بازگرداندن موقعیت اشیا به‌صورت کادر یا نقطه، شامل مختصات دقیق و ویژگی‌ها در قالب JSON.
• تولید دستورها و اقدامات لازم برای کار با رایانه و گوشی هوشمند بر اساس اسکرین‌شات‌ها؛ دستورهایی که در ادامه باید توسط برنامه میزبان اعتبارسنجی و اجرا شوند.
• تحلیل ویدیوهای طولانی‌تر از یک ساعت و مشخص کردن برچسب‌های زمانی برای رویدادهای مرتبط، متناسب با طول پنجره زمینه و نرخ نمونه‌برداری از فریم‌ها.

سنجش افت عملکرد ناشی از فشرده‌سازی در چهار بنچمارک

تیم Qwen دو نسخه BF16 و AWQ را در چهار بنچمارک مختلف ارزیابی کرد تا میزان افت عملکرد ناشی از این فشرده‌سازی را به شکلی دقیق و شفاف مشخص کند.