اجرای محلی هوش مصنوعی با ۲٫۵ گیگابایت حافظه؛ نسخه کم‌حجم مدل Qwen2.5-3B منتشر شد

تیم توسعه مدل‌های Qwen در علی‌بابا، چک‌پوینت رسمی AWQ برای مدل Qwen2.5-3B-Instruct را با فشرده‌سازی وزن‌های خطی به‌دقت ۴ بیتی منتشر کرد؛ مدلی که شمار دانلودهای آن در پلتفرم هاگینگ‌فیس (Hugging Face) از مرز ۸۲۰ هزار بار گذشته است. این مدل با حدود ۳٫۱ میلیارد پارامتر می‌تواند تنها با اشغال چند گیگابایت از حافظه کارت گرافیک (VRAM) اجرا شود و استفاده از هوش مصنوعی را برای برنامه‌های محلی و سرویس‌های تک‌پردازنده‌ای کاملاً کاربردی و دسترس‌پذیر کند.

تکنیک کوانتایز وزن آگاه از اکتیویشن (AWQ) با استفاده از اکتیویشن‌های کالیبراسیون، کانال‌های وزنی دارای بیشترین تأثیر بر خروجی‌های مدل را شناسایی می‌کند. این روش پیش از آغاز فرآیند کوانتایز، کانال‌های کلیدی را مقیاس‌بندی می‌کند تا خطای ناشی از نمایش وزن‌ها با اعداد صحیح ۴ بیتی به حداقل برسد. این فرآیند پس از پایان آموزش روی مدل موجود اعمال می‌شود و نیازی به آموزش مجدد ندارد.

برچسب ۴ بیتی در اصل به وزن‌های خطی کوانتایزشده اختصاص دارد؛ درحالی‌که برداری‌سازی‌ها (Embeddings)، اکتیویشن‌ها، لایه‌های نرمال‌سازی، بافرهای زمان اجرا و کش کلید-مقدار (KV cache) بسته به موتور استنتاج می‌توانند در فرمت‌های FP16 یا BF16 باقی بمانند. در نتیجه، مجموع حافظه VRAM مورد نیاز فراتر از حجم خالص وزن‌های فشرده‌شده خواهد بود و با افزایش طول کانتکست (پنجره زمینه)، اندازه بچ (Batch Size) و درخواست‌های همزمان بیشتر می‌شود.

نگاهی دقیق به مشخصات فنی نسخه ۴ بیتی

مخزن این پروژه، فشرده‌سازی AWQ را مستقیماً روی چک‌پوینت پایه مدل پیاده کرده است. این نسخه تمامی ویژگی‌های نسخه اصلی شامل معماری، توکنایزر، تنظیمات دستورپذیری (Instruction Tuning) و محدودیت‌های پنجره زمینه را حفظ می‌کند.

مکانیزم توجه چندپرسمانی گروهی (Grouped-query attention) دو هد کلید-مقدار را میان ۱۶ هد کوئری به اشتراک می‌گذارد؛ رویکردی که مصرف حافظه کش کلید-مقدار را هنگام تولید متن به میزان چشمگیری کاهش می‌دهد. این صرفه‌جویی در مصرف حافظه به‌ویژه هنگام پردازش پرامپت‌های طولانی یا مدیریت چندین درخواست همزمان کارایی فوق‌العاده‌ای پیدا می‌کند.

تیم Qwen تأکید می‌کند که مدل‌های سری ۲٫۵ در زمینه‌های کدنویسی، ریاضیات، پیروی از دستورها، تولید متون بلند، درک جداول و تولید خروجی‌های ساختاریافته پیشرفت چشمگیری داشته‌اند. زبان‌های پشتیبانی‌شده شامل چینی، انگلیسی، فرانسوی، اسپانیایی، پرتغالی، آلمانی، ایتالیایی، روسی، ژاپنی، کره‌ای، ویتنامی، تایلندی و عربی می‌شوند. البته توسعه‌دهندگانی که برنامه‌های آن‌ها به خروجی‌های معتبر JSON وابسته است، همچنان باید از روش‌های اعتبارسنجی اسکیما (Schema Validation) یا رمزگشایی مقید (Constrained Decoding) استفاده کنند.