استقبال کم‌نظیر از مدل کدنویسی علی‌بابا: عبور دانلودهای نسخه ۴ بیتی Qwen2.5-Coder از مرز ۷۷۵ هزار بار روی کارت‌های گرافیک ۸ گیگابایتی

رکوردشکنی نسخه ۴ بیتی مدل کدنویسی Qwen با بیش از ۷۷۵ هزار دانلود

نسخه سبک‌سازی‌شده توسط جامعه متن‌باز (چک‌پوینت کوانتایز شده AWQ) از مدل قدرتمند Qwen2.5-Coder-7B-Instruct متعلق به شرکت علی‌بابا، از مرز ۷۷۵ هزار بار دانلود در پلتفرم Hugging Face عبور کرد. این نسخه با فشرده‌سازی و تبدیل وزن‌های مدل به دقت ۴ بیتی، حجم مورد نیاز حافظه برای بارگذاری مدل را به حدود ۵.۷ گیگابایت رسانده و اجرای روان و محلی آن را روی بسیاری از کارت‌های گرافیک اقتصادی ۸ گیگابایتی ممکن کرده است.

این چک‌پوینت تمامی ویژگی‌های بنیادین از جمله ساختار معماری، توکنایزر، تنظیمات دقیق دستورپذیری (Instruction Tuning) و مجوز متن‌باز آپاچی ۲.۰ مربوط به مدل اصلی و پایه را بدون هیچ تغییری حفظ کرده است. دلیل اصلی جذابیت بالای این نسخه به سادگی استقرار و اجرای آن مربوط می‌شود؛ وزن‌های مدل اصلی با فرمت متداول BF16 برای یک شبکه ۷.۶۱ میلیارد پارامتری به تنهایی حدود ۱۵.۲ گیگابایت فضا اشغال می‌کنند (بدون احتساب سربار پردازشی زمان اجرا)، در حالی که این نسخه فشرده فضای کافی برای پردازش‌های اکتیویشن و کش کلید-مقدار (KV Cache) را حتی روی کارت‌های گرافیک کوچک‌تر خالی می‌گذارد. البته شایان ذکر است که آمار هاگینگ فیس دانلودهای مکرر و دریافت‌های خودکار فایل توسط اسکریپت‌ها را هم شامل می‌شود و نمی‌توان آن را دقیقاً معادل تعداد کاربران منحصربه‌فرد دانست.

پشت پرده تکنیک کوانتایزیشن AWQ و سازوکار فشرده‌سازی

روش AWQ که مخفف عبارت Activation-aware Weight Quantization است، با بررسی اکتیویشن‌های مرحله کالیبراسیون، کانال‌های حساس و کلیدی وزن‌ها را به دقت شناسایی کرده و پیش از کاهش دقت، ضریب‌های مقیاس‌بندی بهینه‌ای را برای آن‌ها در نظر می‌گیرد. با این شیوه، خطای ناشی از کوانتایزیشن (کاهش دقت) به حداقل می‌رسد و در عین حال فایل ذخیره‌شده مدل بسیار کم‌حجم باقی می‌ماند. لازم به یادآوری است که برچسب ۴ بیتی صرفاً برای وزن‌های ثابت مدل اعمال می‌شود؛ اکتیویشن‌ها و حافظه کش کلید-مقدار (KV) همچنان در دقت بالا‌تر نگهداری می‌شوند، مگر اینکه در موتور استنتاج به شکلی متفاوت پیکربندی شده باشند.