جراحی ظریف Qwen3.8 توسط SC117: حذف فیلترهای مدل بدون دست زدن به ۱۰۷۹ تانسور!

ویرایش هدفمند ۱۴۴ تانسور؛ راهکاری هوشمندانه برای فرار از کوانتایز مجدد

توسعه‌دهنده‌ای به نام SC117 یک نسخه ویژه و اصطلاحاً ابلیتریتد (Abliterated) از مدل Qwen3.8-Flash-Next را با فرمت محبوب GGUF منتشر کرده است؛ نسخه‌ای که با هدف کاهش رفتارهای امتناع و سخت‌گیری‌های مدل طراحی شده، اما ارزش واقعی‌اش در حفظ دست‌نخورده مقادیر کوانتایز شده نسخه اصلی نهفته است. در این انتشار جالب، تنها ۱۴۴ تانسور پروجکشن در ۴۸ لایه تغییر کرده‌اند، در حالی که ۱۰۷۹ تانسور دیگر بایت‌به‌بایت کاملاً بدون تغییر باقی مانده و ۹ تانسور هدف نیز مجدداً بر اساس مقیاس‌های یادگرفته‌شده GSQ بازکدگذاری شده‌اند.

تا زمان انتشار این گزارش، مخزن رسمی SC117 در هاگینگ فیس توانسته از مرز ۹۰۰ هزار دانلود عبور کند و در صدر فهرست مدل‌های ترند هاگینگ فیس قرار بگیرد. دستاورد فنی مهم این پروژه، ابداع روشی برای اعمال ویرایش‌های بسیار ظریف پس از آموزش (Post-training) روی مدلی است که کوانتایز پیشرفته‌اش را نمی‌شد با فرآیندهای معمول و سنتی تبدیل BF16 به GGUF دوباره بازسازی کرد.

چرا کوانتایز مجدد کل مدل باعث افت کیفیت نسخه اصلی می‌شود؟

اصطلاح «ابلیتریشن» (Abliteration) نام غیررسمی تکنیکی است که با ویرایش کم‌رتبه وزن‌ها (Low-rank edit)، جهت اکتیویشنی را که مسئول رد کردن درخواست‌ها و امتناع در مدل است، از ماتریس‌های منتخب حذف می‌کند. این ویرایش با رتبه یک (Rank-1) تنها از یک جهت برداری استفاده می‌کند و همین باعث می‌شود تغییرات در مقایسه با آپدیت کلی وزن‌ها، بسیار کوچک‌تر، دقیق‌تر و ساختاریافته‌تر باشد.

در روش‌های سنتی و همیشگی، این دستکاری ابتدا روی چک‌پوینت ۱۶ بیتی ممیز شناور (BF16) اعمال می‌شد و سپس کل مدل دوباره از اول کوانتایز می‌شد. اما چنین مسیری در این پروژه جواب نمی‌داد؛ چون مقادیر دقیق بیت‌های پایین در این مدل حاصل فرآیند یادگیری در زمان بهینه‌سازی بوده‌اند و کوانتایز مجدد تمام آن ویژگی‌ها را خراب می‌کرد.

در واقع، بیلد مرجع تیم ISTA-DASLab از ترکیب دو تکنیک GSQ و RCO بهره می‌برد. تکنیک GSQ با استفاده از روش ریلکسیشن گامبل-سافت‌مکس (Gumbel-Softmax relaxation)، تخصیص‌های شبکه و مقیاس‌های گروه‌ها را برای هر تانسور یاد می‌گیرد. سپس الگوریتم RCO نوع کوانتایز هر تانسور را طوری مشخص می‌کند که حجم کل مدل در محدوده مجاز باقی بماند. این مدل از معماری ترکیبی از متخصصان (Mixture of Experts یا MoE) استفاده می‌کند؛ سازوکاری که توکن‌ها را به جای درگیر کردن تمام متخصص‌ها، فقط از مسیر بخش‌های تخصصی منتخب هدایت می‌کند.

مقادیر کوانتایز شده با روش GSQ-RCO وابستگی شدیدی به کدهای یادگرفته‌شده، مقیاس‌ها و فرمت‌های سطح تانسور دارند. اجرای یک ابزار کوانتایز معمولی روی وزن‌های BF16 خروجی متفاوتی تولید می‌کرد و عملاً تمام آن پارامترهای بهینه‌شده و دقیق را به سطل زباله می‌فرستاد؛ مشکلی که SC117 با این ویرایش موضعی و ظریف به‌زیبایی آن را حل کرده است.