شاهکار فشرده‌سازی: مدل ۲۷ میلیاردی سالوکی در ۸ گیگابایت جا شد و نسخه اصلی را شکست داد!

سالوکی یک مدل ۲۷ میلیاردی را در ۷.۸۹ گیگابایت جا داد؛ بدون افت قدرت کار با ابزار‌ها!

مجموعه تحقیقاتی کانوی ریسرچ (Conway Research) به‌تازگی مدل Underdog Saluki را منتشر کرده است؛ یک نسخه فشرده‌شده و ۲ بیتی در قالب GGUF از مدل قدرتمند Qwen3.8-27B. این مدل ۷.۸۹ گیگابایتی مستقیماً روی نسخه استاندارد و دست‌نخورده ابزار llama.cpp اجرا می‌شود و طبق آزمایش‌های انجام‌شده توسط تیم سازنده، در تسک‌های فراخوانی ابزار‌ها (Tool Calling) حتی بهتر از نسخه غول‌پیکر و ۵۴ گیگابایتی پایه عمل می‌کند! جالب است بدانید صفحه این مدل در هاگینگ فیس تا زمان نگارش این گزارش، بیش از ۱۵ هزار بار دانلود شده است.

هدف اصلی از این انتشار، جان بخشیدن به ایجنت‌های محلی روی سیستم‌ها و سخت‌افزارهای معمولی خانگی است. معمولاً فشرده‌سازی‌های سنگین و تهاجمی به دقت توکن‌ها ضربه می‌زنند و زنجیره نام توابع، آرگومان‌های فرمت JSON و فراخوانی‌های هم‌زمان را به هم می‌ریزند. اما سالوکی با استفاده از داده‌های کالیبراسیون بسیار دقیق طراحی شده تا با وجود کاهش شدید حجم رم و فضای ذخیره‌سازی، این رفتار حیاتی ایجنت‌ها را کاملاً دست‌نخورده و سالم حفظ کند.

استفاده از ابزار‌ها عالی عمل می‌کند، اما ریاضیات کمی عقب‌نشینی کرده است

تیم کانوی برای بررسی عیار سالوکی، آن را در بنچمارک Underdog Bench آزمایش کرده است؛ مجموعه‌ای ثابت شامل ۱۲۰ تسک که زیرمجموعه‌ای از لیدربورد معتبر BFCL v4 به حساب می‌آید. نتیجه شگفت‌انگیز بود: سالوکی توانست ۸۸ تسک را با موفقیت پشت سر بگذارد، درحالی‌که نسخه اصلی و ۵۴ گیگابایتی Qwen3.8-27B فقط ۸۴ تسک را حل کرده بود! گزارش‌های کانوی نشان می‌دهد سالوکی در میان ۹ بنچمارک مختلف، توانسته ۹۶ درصد از عملکرد میانگین مدل والد خود را حفظ کند.

در گزارش این انتشار، عملکرد سالوکی با مدل ۵.۹۵ گیگابایتی Bonsai 2 نیز مقایسه شده است؛ مدلی که تنها ۷۰ تسک از ۱۲۰ تسک ابزاری را پاس می‌کند. در واقع سالوکی با مصرف تنها ۱.۹۴ گیگابایت فضای بیشتر، ۱۸ تسک اضافه را با موفقیت حل می‌کند و برتری محسوسی نشان می‌دهد.

نگاهی دقیق به نتایج بنچمارک‌ها نشان می‌دهد که بیش‌ترین افت دقت مدل، در بخش ریاضیات رقابتی و تولید کد رخ داده است. با این حال، توانایی مدل در دنبال کردن دستورات (Instruction following) بسیار نزدیک به نسخه اصلی باقی مانده و نمرات مربوط به فراخوانی ابزار‌ها حتی ارتقا یافته است. البته باید در نظر داشت که امتیازات رسمی نسخه‌های پایه و نتایج این آزمون ممکن است از تنظیمات نمونه‌برداری یا نرم‌افزارهای متفاوتی استفاده کرده باشند؛ بنابراین بهتر است در تحلیل تفاوت‌های جزئی کمی محتاط بود.