ثبت بیش از ۸۰۰ هزار دانلود برای نسخه Unsloth مدل Llama 3.2 با حذف سد ورود متا

چرا نسخه ارائه‌شده Unsloth از مدل یک میلیاردی لاما با چنین سرعتی فراگیر شد؟

مخزن لاما متعلق به Unsloth توانسته است با سرعتی چشمگیر به صدر جدول‌های ترند پلتفرم Hugging Face برسد. در زمان انتشار این آمار، شمارنده ماهانه صفحه بیش از ۸۰۰ هزار دانلود و ۳۶۰۰ لایک ثبت کرده بود. اگرچه وزن‌های اصلی مدل توسط متا توسعه داده شده‌اند، اما Unsloth آن‌ها را در قالب بسته‌هایی آماده برای دانلود بسیار ساده‌تر، استنتاج سریع‌تر از طریق کوانتایزیشن و آموزش ادپترها روی تنها یک کارت گرافیک منتشر کرده است؛ رویکردی هوشمندانه در توزیع که محبوبیت خیره‌کننده این مخزن را به‌خوبی توضیح می‌دهد.

وزن‌های سبک، دامنه نفوذ گسترده

شرکت متا خانواده مدل‌های Llama 3.2 را در سپتامبر ۲۰۲۴ همراه با نسخه‌های بینایی ۱۱ و ۹۰ میلیارد پارامتری و مدل‌های متنی کوچک ۱ و ۳ میلیارد پارامتری در دسترس عموم قرار داد. بر اساس گزارش رسمی متا، نسخه‌های کوچک‌تر به‌شکل هدفمند برای اجرا روی گجت‌های موبایل، سخت‌افزارهای لبه (Edge)، سامانه‌های بازیابی اطلاعات، خلاصه‌سازی و توسعه دستیارهای هوشمند چندزبانه طراحی شده‌اند.

مدل Llama-3.2-1B-Instruct حدود ۱٫۲۳ میلیارد پارامتر دارد و از طریق تکنیک‌های هرس کردن (Pruning) و تقطیر دانش (Knowledge Distillation) از مدل‌های بزرگ‌تر لاما و سپس اعمال تنظیم مبتنی بر دستورالعمل (Instruction Tuning) خلق شده است. طبق اعلام متا، این مدل در فرآیند پیش‌آموزش خود با ۹ تریلیون توکن تغذیه شده است، نقطه قطع دانش آن به دسامبر ۲۰۲۳ بازمی‌گردد و به‌طور رسمی از زبان‌های انگلیسی، آلمانی، فرانسوی، ایتالیایی، پرتغالی، هندی، اسپانیایی و تایلندی پشتیبانی می‌کند.

مکانیزم توجه چندگروهی (Grouped-Query Attention یا GQA) با اشتراک‌گذاری هدهای Key و Value میان چند هد Query، حافظه رم و توان پردازشی مورد نیاز را هنگام تولید پاسخ بهینه‌سازی می‌کند. معماری این مدل از پنجره زمینه (کانتکست) ۱۲۸ هزار توکنی پشتیبانی می‌کند؛ هرچند حداکثر طول قابل استفاده در عمل، به حافظه در دسترس سیستم، موتور استنتاج انتخابی و نوع بار کاری وابسته است.

یک مدل واحد، مقصدهای چندگانه

تیم Unsloth نسخه کامل وزن‌ها را در فرمت BF16 safetensors با حجمی در حدود ۲٫۴۹ گیگابایت حفظ کرده و هم‌زمان مخازن متعددی را برای سایر محیط‌های اجرایی توسعه داده است. نسخه‌های ساخته‌شده بر پایه GGUF از ابزارهایی مانند llama.cpp، Ollama و LM Studio در کنار استنتاج مستقیم روی پردازنده مرکزی (CPU) و تراشه‌های اپل سیلیکون پشتیبانی می‌کنند. علاوه بر این، نسخه مجزای ۴ بیتی برای سیستم‌های مجهز به شتاب‌دهنده‌های انویدیا CUDA و فرآیند آموزش با متد QLoRA بهینه‌سازی شده است.

فرآیند کوانتایزیشن (کوانتش) با ذخیره وزن‌ها در قالب بیت‌های کمتر، مصرف حافظه رم و فضای ذخیره‌سازی را به‌شکل چشمگیری پایین می‌آورد؛ هرچند این فرآیند ممکن است با افت جزئی دقت محاسباتی و گاهی کاهش نسبی کیفیت خروجی مدل همراه باشد. پکیج‌های ارائه‌شده نیازهای گوناگون توسعه‌دهندگان را پوشش می‌دهند: