کاهش چشمگیر حجم مدل Qwen3.6 علی‌بابا از ۷۰ به ۲۴ گیگابایت؛ اجرای محلی روی ورک‌استیشن‌ها!

عرضه نسخه ۴ بیتی AWQ برای مدل Qwen3.6-35B-A3B توسط QuantTrio

تیم QuantTrio یک مخزن AWQ را برای مدل Qwen3.6-35B-A3B منتشر کرده است؛ مدلی با وزن‌های باز بر پایه معماری مخلوطی از کارشناسان (Mixture-of-Experts) از شرکت علی‌بابا. این نسخه ۴ بیتی، حجم فایل‌های وزنی مدل را از حدود ۷۰ گیگابایت در فرمت BF16 به حدود ۲۴ گیگابایت کاهش می‌دهد. همین بهینه‌سازی باعث شده تا اجرای این مدل روی ورک‌استیشن‌های مجهز به چند پردازنده گرافیکی، یک جفت کارت ۴۸ گیگابایتی یا سرور‌های معمولی، کاملاً عملی و شدنی شود.

این مخزن تا به حال بیش از ۷۸۸ هزار بار در هاگینگ فیس (Hugging Face) دانلود شده است. البته این رقم، تعداد درخواست‌های دانلود فایل را می‌شمارد و لزوماً به معنی تعداد کاربران یکتا یا سیستم‌های راه‌اندازی‌شده نیست؛ با این حال، نشان‌دهنده استقبال اولیه فوق‌العاده کاربران از نسخه‌ای است که حافظه بسیار کمتری نسبت به فایل‌های وزنی اصلی می‌طلبد.

در شناسنامه مدل پایه، این اثر به عنوان اولین نسخه با وزن‌های باز در خانواده Qwen3.6 معرفی شده است. این مدل در مجموع ۳۵ میلیارد پارامتر دارد، اما برای پردازش هر توکن تنها حدود ۳ میلیارد پارامتر را فعال می‌کند. علی‌بابا این مدل را تحت مجوز متن‌باز Apache 2.0 در دسترس عموم قرار داده است.

کاهش هزینه‌های راه‌اندازی با وزن‌های ۴ بیتی

تکنیک AWQ که مخفف عبارت Activation-aware Weight Quantization (کوانتایزیشن وزن‌ها بر اساس فعال‌سازی) است، وزن لایه‌های خطی پشتیبانی‌شده را با دقت ۴ بیتی ذخیره می‌کند، در حالی که در بخش‌هایی که زمان اجرا به دقت بالاتری نیاز دارد، دقت بیشتری را حفظ می‌نماید. این ترفند مصرف حافظه و پهنای باند را به شدت کاهش می‌دهد، هرچند ممکن است در مقایسه با نسخه باکیفیت‌تر BF16 افت کیفیت اندکی به همراه داشته باشد.

تیم QuantTrio این بیلد را با استفاده از فرآیند فشرده‌سازی بدون داده (Data-free Quantization) آماده کرده است؛ به این معنی که برای تعیین مقیاس‌های کوانتایزیشن، هیچ مجموعه داده کالیبراسیونی را به مدل تزریق نکرده است. با این رویکرد، نیاز به داده‌های کالیبراسیون از فرآیند ساخت حذف شده است، هرچند که استفاده از یک مجموعه کالیبراسیون دقیق و دست‌چین‌شده گاهی می‌تواند دقت خروجی را بالا‌تر ببرد.

باید به این نکته مهم توجه داشت که رقم ۲۴ گیگابایت صرفاً به وزن‌های ذخیره‌شده مدل اختصاص دارد. یک سرور فعال برای رسیدگی به درخواست‌ها، به حافظه اضافه‌ای برای کش KV، اکتیویشن‌ها، نمودارهای محاسباتی CUDA، بافرهای موقت و پاسخ‌گویی به درخواست‌های هم‌زمان نیاز دارد. بنابراین نباید تصور کرد که صرفاً چون حجم فایل‌ها حدود ۲۴ گیگابایت است، یک کارت گرافیک ۲۴ گیگابایتی برای میزبانی کامل این سرویس کافی خواهد بود.