اجرای مدل امنیتی ۲۷ میلیاردی روی کارت گرافیک معمولی؛ شاهکار OrcaRouter با فشرده‌سازی ۷۱ درصدی

تیم OrcaRouter مدل سایبری ۲۷ میلیاردی بدون سانسور را تا ۱۵.۷ گیگابایت فشرده کرد

تیم OrcaRouter نسخه جدیدی به نام OrcaSAQ-2 Cyber 27B Uncensored GGUF را منتشر کرده است؛ یک مدل فشرده‌شده بر پایه Qwen3.8-27B که اختصاصاً برای تحلیل‌های امنیتی به شکل آفلاین و محلی (Local) توسعه یافته است. طبق اطلاعات منتشرشده در مشخصات فنی مدل، عملیات کوانتیزاسیون (Quantization) موفق شده حجم چک‌پوینت را از ۵۴.۷ گیگابایت در فرمت BF16 به فقط ۱۵.۷ گیگابایت کاهش دهد؛ تغییری فوق‌العاده که باعث می‌شود وزن‌های این مدل روی یک کارت گرافیک معمولی مصرفی ۱۶ یا ۲۴ گیگابایتی به سادگی قابل اجرا باشند.

اجرای محلی مدل به تیم‌های امنیت سایبری این امکان را می‌دهد تا سورس‌کدهای محرمانه سازمانی، لاگ‌های زنده، باینری‌های مشکوک و آسیب‌پذیری‌های کشف‌نشده را بدون نیاز به ارسال اطلاعات حساس به ارائه‌دهندگان ابری بررسی کنند. علاوه بر این، محدودیت‌ها و رفتارهای امتناع خودکار (Refusal) مدل نیز حذف شده تا متخصصان امنیتی بتوانند در پژوهش‌های مجاز خود پرامپت‌های مربوط به اکسپلویت و نفوذ را به راحتی تست کنند؛ هرچند که رعایت نکات ایمنی، مسئولیت دقت خروجی و کنترل دسترسی‌ها همچنان به عهده خود توسعه‌دهندگان و کاربران خواهد بود.

عملکرد عالی و پایداری دقت حتی پس از فشرده‌سازی در تست WikiText-2

تیم توسعه‌دهنده برای سنجش میزان افت کیفیت، عملکرد چک‌پوینت کوانتیزه‌شده را روی ۱۶٬۳۷۶ توکن در بنچمارک WikiText-2 در مقایسه با نسخه اصلی BF16 ارزیابی کرد. نتایج به دست آمده نشان می‌دهد که علی‌رغم کاهش خیره‌کننده ۷۱.۳ درصدی در حافظه ذخیره‌سازی، تغییرات در عملکرد کلی مدل زبانی بسیار جزئی و ناچیز بوده است.

معیار پرپلکسیتی میزان خطای پیش‌بینی توکن بعدی را می‌سنجد و مقادیر کمتر آن نشان‌دهنده دقت بالاتر و نزدیکی بیشتر به متن ارزیابی است. تطابق Top-1 نشان می‌دهد که مدل فشرده‌شده تقریباً در ۹۴ مورد از هر ۱۰۰ بار، دقیقاً همان توکن منتخبی را پیش‌بینی کرده که نسخه اصلی BF16 انتخاب کرده است. شاخص واگرایی کولبک-لایبلر (KLD) نیز فاصله بین توزیع احتمال کامل توکن‌ها را اندازه می‌گیرد که عدد بسیار پایین ۰.۰۲ نشان‌دهنده حفظ فوق‌العاده رفتار مدل اصلی است.