شاهکار تازه گوگل دیپ‌مایند: اجرای مدل چندحالته Gemma 4 E4B روی لپ‌تاپ و گوشی با حجم ۵ گیگابایت!

تیم گوگل دیپ‌مایند (Google DeepMind) به‌تازگی چک‌پوینت مدل E4B را در قالب فرمت پرطرفدار GGUF با روش Q4_0 و به کمک فناوری کوانتایزیشن آگاه از آموزش (QAT) منتشر کرده است. این پکیج جمع‌وجور با حجم تقریبی ۵.۱۵ گیگابایت، مشخصاً برای اجرا روی ابزار‌های محبوب پردازش محلی مثل llama.cpp، ابزار Ollama، نرم‌افزار LM Studio و سایر پلتفرم‌های مشابه طراحی شده است. گوگل اعلام کرده که با این روش، فضای ذخیره‌سازی وزن‌های مدل به حدود یک‌چهارم نسخه پایه bfloat16 کاهش یافته، در حالی که کیفیت پاسخ‌دهی و قدرت استدلال مدل تقریباً بدون تغییر باقی مانده است؛ دستاوردی هیجان‌انگیز که قدرت استدلال چندحالته (Multimodal) را مستقیماً به لپ‌تاپ‌ها و گوشی‌های مجهز به رم بالا می‌آورد.

تکنیک QAT چگونه وزن مدل را حسابی سبک کرد؟

در روش‌های سنتی کوانتایزیشن پس از آموزش (Post-Training Quantization)، مدلی که از قبل آموزش دیده به دقت محاسباتی پایین‌تری تبدیل می‌شود که معمولاً افت کیفیت و کاهش دقت مدل را به همراه دارد. اما در روش «آموزش آگاه از کوانتایزیشن» یا همان QAT، فرآیند گرد کردن اعداد و فرمت نهایی در حین خود فرآیند آموزش شبیه‌سازی می‌شود؛ این کار به هوش مصنوعی اجازه می‌دهد تا قبل از استخراج نهایی وزن‌ها، خودش را با محدودیت‌های جدید وفق دهد. کارت مشخصات فنی مدل که توسط گوگل منتشر شده نشان می‌دهد کیفیت خروجی این نسخه بسیار نزدیک به نسخه کامل bfloat16 است، در حالی که فضای اشغالی ذخیره‌سازی به شکل چشمگیری پایین آمده است.

البته باید توجه داشت که عدد ۵.۱۵ گیگابایت صرفاً مربوط به حجم فایل وزن‌های فرمت GGUF روی دیسک است. در عمل، حافظه رم مصرفی دستگاه موقع اجرای مدل بالا‌تر خواهد بود؛ زیرا پردازش نهایی به بافرهای زمان اجرا، کش کلید-مقدار (KV Cache)، داده‌های ورودی و سربار خود نرم‌افزار هم احتیاج دارد. علاوه بر این، متن‌های طولانی رم بیشتری می‌طلبند؛ بنابراین صرفاً بارگذاری موفقیت‌آمیز مدل روی سیستم تضمین نمی‌کند که دستگاه شما حتماً بتواند از تمام پنجره زمینه ۱۲۸ هزار توکنی (128K context window) بهره ببرد.

گوگل این مدل بهینه‌شده با QAT را در چهار قالب مختلف برای محیط‌های اجرایی گوناگون عرضه کرده است:

• نسخه Unquantized QAT: شامل وزن‌ها با دقت نیمه‌دقیق (Half-precision) که مستقیماً از پایپ‌لاین QAT به دست آمده و مناسب تحقیقات علمی، تبدیل فرمت‌ها و کامپایل‌های سفارشی است.
• فرمت GGUF با متد Q4_0: پکیج ۴ بیتی استاندارد برای اجراکننده‌های محلی معروفی مثل llama.cpp، Ollama و LM Studio.
• فرمت موبایلی wNa8o8: قالبی متناسب با سخت‌افزارهای موبایل که دارای لایه‌های دیکودر منتخب ۲ بیتی، کش‌های کلید-مقدار بهینه‌شده و اکتیویشن‌های استاتیک است.
• فرمت Compressed Tensors مدل w4a16: وزن‌های ۴ بیتی همراه با اکتیویشن‌های ۱۶ بیتی که اجرای بهینه مدل را روی محیط‌های پرسرعتی مانند vLLM فراهم می‌کند.