مدل قدرتمند Qwen2.5-32B در فایل ۹ گیگابایتی؛ اجرای محلی غول هوش مصنوعی روی کارت‌های گرافیک خانگی!

مجموعه‌ای کاربردی از نسخه‌های GGUF برای اجرای محلی Qwen2.5-32B

اجرای یک مدل ۳۲ میلیارد پارامتری روی سیستم‌های محلی معمولاً کار آسانی نیست و به حافظه ویدیویی (VRAM) سنگین، رم بالا یا فشرده‌سازی‌های بسیار شدید نیاز دارد. حالا در مخزن GGUF بارتوفسکی در هاگینگ فیس، مدل Qwen2.5-32B-Instruct برای محیط‌های سازگار با llama.cpp بسته‌بندی و آماده شده است؛ مجموعه‌ای کامل از فایل‌های فشرده که از نسخه فوق‌العاده سبک ۹ گیگابایتی (IQ2_XXS) گرفته تا وزن‌های تفکیک‌شده ۶۵ گیگابایتی با دقت F16 را شامل می‌شود.

در میان این گزینه‌ها، فایل Q4_K_M تعادل ایده‌آلی میان حجم و کیفیت ارائه می‌دهد؛ فایل وزنی ۱۹.۸۵ گیگابایتی آن در صورت تنظیم محافظه‌کارانه طول کانتکست و پردازش دسته‌ای، به‌خوبی روی کارت‌های گرافیک ۲۴ گیگابایتی بازار جا می‌گیرد. گزینه‌های کوچک‌تر برای سیستم‌هایی با محدودیت شدید حافظه طراحی شده‌اند، در حالی که نسخه‌های Q6_K، Q8_0 و F16 برای سیستم‌های قدرتمندتر بالا‌ترین دقت و شباهت به مدل اصلی را فراهم می‌کنند.

آمار‌های ثبت‌شده در هاگینگ فیس نشان می‌دهد این پروژه حدود ۸۰۰ هزار بار دانلود شده و بیش از ۳۶۰۰ لایک دریافت کرده است. البته شمارنده دانلود تمام درخواست‌های فایل، دریافت‌های تکراری و اسکریپت‌های خودکار را هم ثبت می‌کند، اما این ارقام به‌خوبی توجه گسترده جامعه متن‌باز را نشان می‌دهد.

بر اساس توضیحات شناسنامه مدل پایه، با یک مدل دستورپذیر تحت مجوز آپاچی ۲.۰ (Apache 2.0) با ۳۲.۵ میلیارد پارامتر و ۶۴ لایه ترنسفورمر روبه‌رو هستیم. معماری فنی این مدل از انکودینگ موقعیتی RoPE، بلوک‌های پیش‌خور SwiGLU، نرمال‌سازی RMSNorm، سازوکار توجه گروه‌بندی‌شده (GQA) و بایاس QKV بهره می‌برد.

• کاربردهای اصلی: پیروی دقیق از دستورات، استدلال ریاضی، برنامه‌نویسی و کدنویسی، کار با داده‌های ساختاریافته، تولید خروجی JSON و متون چندزبانه.
• پشتیبانی از زبان‌ها: بیش از ۲۹ زبان زنده بر اساس اعلام تیم توسعه Qwen.
• فرمت پرامپت: ساختار Qwen ChatML با استفاده از توکن‌های ویژه <|im_start|> و <|im_end|>.
• طول کانتکست اسمی: پشتیبانی از ورودی تا ۱۳۱,۰۷۲ توکن و تولید پاسخ تا ۸,۱۹۲ توکن.
• فرمت اجرای محلی: فایل‌های GGUF شامل وزن‌ها، متادیتای توکنایزر و الگوی گفت‌وگو (Chat Template).

در مستندات رسمی مدل اشاره شده که برای پردازش توالی‌های طولانی‌تر از ۳۲,۷۶۸ توکن، فعال‌سازی روش مقیاس‌پذیری YaRN الزامی است؛ بنابراین اگر قصد دارید با کانتکست‌های خیلی طولانی کار کنید، حتماً بررسی کنید که بیلد llama.cpp و تنظیمات اجرایی شما پیکربندی مناسب RoPE را اعمال کنند و سپس دقت بازیابی اطلاعات را در طول کانتکست مدنظرتان بسنجید.

بارتوفسکی برای ساخت این فایل‌های فشرده از روش ماتریس اهمیت (imatrix) در llama.cpp استفاده کرده که جزئیات آن در راهنمای رسمی imatrix آمده است. در این روش، با استفاده از داده‌های کالیبراسیون مشخص می‌شود کدام وزن‌ها بیش‌ترین تأثیر را روی خروجی مدل دارند؛ به این ترتیب ابزار کوانتایزیشن در بخش‌های حساس، دقت بالاتری را حفظ می‌کند تا خطای محاسباتی به حداقل برسد و کیفیت خروجی مدل افت نکند.