کاهش امتناع مدل Swift 1.5 از پاسخگویی با ابزار Heretic؛ آزادی بیشتر به بهای افت ۲۸ درصدی سرعت

نسخه‌ای جدید و غیررسمی که توسط جامعه توسعه‌دهندگان در پلتفرم Hugging Face منتشر شده، ابزار محوسازی امتناع Heretic را روی مدل Swift 1.5 Qwen3.8-27B شرکت UkisAI پیاده‌سازی کرده است. این تغییر باعث کاهش رفتارهای امتناع مدل در پاسخگویی شده و در عین حال، پشتیبانی کتابخانه llama.cpp از قابلیت‌های بینایی و پیش‌بینی چندتوکنی (Multi-Token Prediction) را حفظ می‌کند. توسعه‌دهنده این پروژه، نتیجه را در قالب یک فایل تک‌بخشی با حجم ۱۲٫۱۲ گیگابایت در فرمت IQ3_S GGUF به‌همراه یک فایل پروجکتور بینایی ۰٫۹۳ گیگابایتی عرضه کرده است. طبق اطلاعات منتشرشده، این پیکربندی در پنجره متنی ۲۶۲ هزار توکنی حدود ۲۵ گیگابایت از حافظه ویدئویی (VRAM) را اشغال می‌کند که اجرای آن را روی کارت‌های گرافیک ۳۲ گیگابایتی امکان‌پذیر می‌سازد.

فرمت GGUF ساختار اختصاصی پروژه llama.cpp برای ذخیره‌سازی و اجرای محلی مدل‌های کوانتایز‌شده به‌شمار می‌رود. ابزار Heretic با دستکاری مستقیم جهت‌گیری فعال‌سازی‌های درونی مرتبط با امتناع در شبکه عصبی، بدون نیاز به فرایند پرهزینه آموزش مجدد، پاسخ‌های منفی مدل را محدود می‌کند. مستندات این نسخه به‌طور دقیق توضیح می‌دهد که این تغییرات چه تأثیری بر رفتارهای ایمنی، امتیازهای بنچمارک، کیفیت کوانتایزسازی و سرعت رمزگشایی حدسی (Speculative Decoding) گذاشته است.

یک فایل یکپارچه مدل در کنار پروجکتور بینایی

شناسنامه فنی مدل (Model Card) بخش‌ها و قابلیت‌های اجرایی زیر را مشخص کرده است:

• وزن‌های مدل: فایلی با حجم ۱۲٫۱۲ گیگابایت در فرمت IQ3_S که به‌طور میانگین ۳٫۵۵ بیت به ازای هر وزن اختصاص می‌دهد.
• پروجکتور بینایی: یک فایل ۰٫۹۳ گیگابایتی با دقت F16 که از بخش پردازش تصویر مدل Swift ساخته شده است و ویژگی‌های بصری تصاویر را به فضای مدل زبانی نگاشت می‌کند.
• رمزگشایی حدسی: هِد اصلی MTP در این نسخه گنجانده شده است تا کتابخانه llama.cpp بتواند به‌طور هم‌زمان چندین توکن را پیش‌نویس و ارزیابی کند.
• داده‌های کوانتایزسازی: این بیلد از ساختار تخصیص تانسور و ماتریس اهمیت اختصاصی UkisAI بهره می‌برد که میزان حفظ دقت محاسباتی در هر تانسور را تعیین می‌کند.
• پشتیبانی از محیط‌های اجرایی: شناسنامه مدل سازگاری کامل با ابزارهای llama.cpp، LM Studio، Jan، Ollama، Docker Model Runner و vLLM را تأیید کرده است.

این نسخه مشتق‌شده همچنان تحت شرایط مجوز متن‌باز Swift Open License از شرکت UkisAI ارائه می‌شود؛ با این حال، سازمان‌هایی با درآمد سالانه بیش از یک میلیون دلار ملزم به دریافت مجوز تجاری جداگانه (Swift Enterprise License) خواهند بود.