مدل جدید CyberTiel؛ اجرای کدنویسی امنیت سایبری روی کارت‌های گرافیک ۲۴ گیگابایتی

مدل تازه‌منتشرشده‌ای با نام CyberTiel، یک مدل کدنویسی ۳۵ میلیارد پارامتری با معماری ترکیبی از متخصصان (MoE) را در قالب فایل‌های GGUF برای فریمورک llama.cpp عرضه کرده است. در این مدل به ازای هر توکن تنها حدود ۳ میلیارد پارامتر فعال می‌شوند و نسخه کوانتایزشده Q4 با حجم ۲۲٫۷ گیگابایت برای اجرا روی یک کارت گرافیک معمولی ۲۴ گیگابایتی بهینه‌سازی شده است. این نسخه بر پایه مدل Ornith 1.5 ساخته شده و سه تغییر کلیدی را در خود دارد: ویرایش وزن‌ها به منظور حذف امتناع‌های پیش‌فرض، استفاده از ماتریس اهمیت با اولویت امنیت سایبری برای کوانتایزیشن، و الحاق یک بخش پیش‌بینی چندتوکنی (Multi-Token Prediction) جهت تسریع در فرایند تولید پاسخ.

این مجموعه از ویژگی‌ها، برنامه‌نویسانی را هدف قرار داده است که به اجرای محلی عوامل هوشمند کدنویسی و ابزارهای ارزیابی امنیت سایبری بدون محدودیت‌ها و هشدارهای متداول هوش مصنوعی نیاز دارند. توسعه‌دهنده مدل گزارش داده است که نرخ حل مسئله این ابزار نسبت به مدل‌های مشابه 35B-A3B بالاتر است، سرعت تولید متن بیشتری در مقایسه با چندین مدل متراکم دارد و در چالش‌های فتح پرچم (CTF) بدون راهنمایی به نرخ موفقیت نزدیک به ۳۵ درصد رسیده است. البته این آمارها صرفاً از آزمایش‌های توسعه‌دهنده به دست آمده و هنوز توسط منابع مستقل بازتولید یا راستی‌آزمایی نشده است.

دستاوردهای گزارش‌شده در برابر حجم اندک نمونه‌ها

در ارزیابی توانایی کدنویسی این مدل از بنچمارک SWE-bench Live استفاده شده که چالش‌های خود را از جدیدترین ایشوهای مطرح‌شده در گیتهاب استخراج می‌کند. استفاده از مشکلات نرم‌افزاری تازه، ریسک نشت داده‌های بنچمارک به فرایند آموزش را به حداقل می‌رساند؛ هرچند این باگ‌ها و اصلاحیه‌ها ممکن است به داده‌های آموزشی مدل‌ها نیز راه یافته باشند. مدل CyberTiel در سه دور اجرای آزمایشی روی مجموعه‌ای شامل ۲۵ مسئله، به ترتیب ۱۵، ۱۳ و ۱۳ مسئله را حل کرد و به میانگین ۱۳٫۷ مسئله حل‌شده یا نرخ موفقیت ۵۴٫۷ درصد رسید.

با این حال، حجم محدود نمونه ۲۵تایی و آزمایش با سه مرتبه اجرا، ابهامات قابل‌توجهی پیرامون تفاوت‌های جزئی میان مدل‌ها باقی می‌گذارد. چارچوب‌های ابزاری عوامل هوشمند، نحوه نگارش دستورات، دسترسی ابزارها، سقف توکن‌ها، مشخصات سخت‌افزاری و قواعد توقف مدل همگی می‌توانند روی نرخ حل مسائل و سرعت پاسخ‌دهی تأثیر بسزایی بگذارند؛ بنابراین مقایسه‌ای دقیق و قابل اتکا مستلزم ثابت نگه داشتن تمام این پارامترها در آزمون همه مدل‌ها خواهد بود.