جا دادن غول استدلالی ۲۷ میلیاردی Swift 1.5 در ۸.۴ گیگابایت؛ اجرای مدل‌های سنگین روی سیستم‌های خانگی!

فشرده‌سازی مدل ۲۷ میلیاردی Swift 1.5 تا ۸.۴۲ گیگابایت در فرمت GGUF

تیم UkisAI به‌تازگی از چهار نسخه کوانتایز شده با دقت ترکیبی (mixed-precision GGUF) برای مدل Swift 1.5 رونمایی کرده است؛ مدلی استدلالی که بر پایه Qwen3.8-27B آموزش تکمیلی دیده است. جالب اینجاست که کوچک‌ترین فایل این مدل تنها ۸.۴۲ گیگابایت فضا اشغال می‌کند که نیاز به حافظه رم و فضای ذخیره‌سازی را برای اجرای محلی روی پردازنده‌های گرافیکی معمولی و مک‌های دارای حافظه یکپارچه به‌شدت کاهش می‌دهد.

این نسخه، تخصیص بیت به هر تنسور را بر پایه تحقیقات کوانتایزیشن آزمایشگاه ISTA-DASLab با فرایند کالیبراسیون و بهینه‌سازی اختصاصی Swift ترکیب کرده است. طبق گزارش UkisAI، این فایل‌های فشرده در مقایسه با نسخه‌های اولیه، توزیع احتمالاتی توکن‌های مدل پایه BF16 را در بخش‌های متن، کدنویسی، ریاضیات و داده‌های آزمایشی چندزبانه با دقت بسیار بالاتری بازتولید می‌کنند.

دو برگ برنده در بهینه‌سازی و کارایی

بخش اول این جهش کارایی مستقیماً به معماری خود Swift 1.5 برمی‌گردد. بر اساس ادعای UkisAI، مدل آموزش‌دیده تمام‌دقت در مقایسه با مدل پایه Qwen حدود ۵۸.۵ درصد توکن‌های استدلال (تفکر) کمتری مصرف می‌کند و در عین حال در آزمون‌های اعلام‌شده ۰.۳۵ درصد امتیاز بالاتری ثبت کرده است؛ امری که به افزایش سرعت چشمگیر ۹.۱۸ برابری در چند ارزیابی مختلف منجر شده است.

البته این آمار درخشان مربوط به نسخه تمام‌دقت Swift 1.5 است. نسخه‌های GGUF فشرده‌سازی وزن‌ها را هم اضافه می‌کنند، اما در شناسنامه مدل هنوز بنچمارک‌های تفصیلی وظایف نهایی یا سنجش سرعت سرتاسری برای تک‌تک نسخه‌های کوانتایز شده ثبت نشده است و نتایج فعلی بیش‌تر روی شباهت توزیع خروجی‌ها با مدل اصلی تمرکز دارند.

چهار نسخه مختلف: تعادل میان حجم فایل و دقت مدل

هر یک از این سطوح، بر اساس میزان حساسیت تنسورها، پهنای بیت متفاوتی را به آن‌ها اختصاص می‌دهند تا بهترین تعادل میان کیفیت و حجم حاصل شود. بر اساس داده‌های ارائه‌شده، میزان واگرایی کولبک-لایبلر (KLD) در مجموعه داده توسعه و حجم فایل‌ها به شرح زیر است: