رد هت حجم مدل ۳۰ میلیاردی نموترون انویدیا را نصف کرد: اجرای آسان‌تر ایجنت‌ها روی یک کارت گرافیک!

رد هت حجم مدل Nemotron 3.5 Lightning انویدیا را با FP8 نصف کرد

تیم هوش مصنوعی رد هت (Red Hat AI) یک چک‌پوینت کوانتیزه‌شده با فرمت FP8 از مدل Nemotron شرکت انویدیا منتشر کرده است. تبدیل وزن‌ها و فعال‌سازهای منتخب از فرمت BF16 به FP8 فضای ذخیره‌سازی آنها را تقریباً به نصف کاهش می‌دهد و استقرار این مدل ایجنت ۳۰ میلیارد پارامتری را روی یک کارت گرافیک یا شتاب‌دهنده واحد به مراتب آسان‌تر می‌کند.

در پلتفرم هاگینگ فیس (Hugging Face) تا لحظه انتشار این خبر بیش از ۷۸۰ هزار بار دانلود برای این چک‌پوینت ثبت شده است. هرچند این آمار نشان‌دهنده تعداد دفعات دانلود فایل‌هاست و نه لزوماً تعداد کاربران یکتا یا استفاده مستقیم در محیط عملیاتی، اما علاقه اولیه و چشمگیر توسعه‌دهندگان به نسخه‌های کم‌مصرف‌تر و سبک‌تر را به خوبی نشان می‌دهد.

نصف شدن حجم وزن‌ها؛ دستاوردی جذاب اما با پیش‌شرط‌های فنی

تیم رد هت این چک‌پوینت را با استفاده از ابزار LLM Compressor توسعه داده است؛ به این صورت که کوانتیزاسیون ایستا بر پایه هر تنسور (Per-Tensor FP8) روی وزن‌ها و فعال‌سازهای عملگرهای خطیِ پشتیبانی‌شده پیاده شده است. فرمت FP8 هر مقدار کوانتیزه‌شده را تنها در ۸ بیت ذخیره می‌کند، در حالی که در فرمت BF16 برای هر مقدار به ۱۶ بیت فضا نیاز است.

برای حفظ حداکثر دقت، چندین بخش حساس به دقت بالا دست‌نخورده باقی مانده و فشرده نشده‌اند؛ از جمله لایه‌های conv1d، امبدینگ‌ها، پروجکشن‌های نهفته (Latent Projections)، گیت‌های معماری متخصصان ترکیبی (Mixture of Experts)، لایه‌های پیش‌بینی چندتوکنی، لایه نرمال‌سازی نهایی و هِد اصلی مدل زبانی (LM Head). فرآیند کالیبراسیون نیز با استفاده از ۵۱۲ نمونه متن از مجموعه UltraChat و با طول ۲۰۴۸ توکن برای هر نمونه انجام شده است.

صرفه‌جویی حاصل از این روش اساساً روی تنسورهای کوانتیزه‌شده اعمال می‌شود. از آنجا که حافظه کلی در زمان اجرا شامل پارامترهای فشرده‌نشده، فعال‌سازها، وضعیت‌های مامبا (Mamba State)، حافظه کش کلید-مقدار توجه (KV Cache) و فضای اختصاص‌یافته برای کتابخانه vLLM نیز می‌شود، کل مصرف حافظه کارت گرافیک (VRAM) در بسیاری از پیکربندی‌های استقرار، اندکی کم‌تر از ۵۰ درصد کاهش پیدا می‌کند.

پردازنده‌های گرافیکی معماری هاپر (Hopper) و بلک‌ول (Blackwell) می‌توانند ضرب ماتریسی در فرمت FP8 را از طریق هسته‌های تانسور اختصاصی خود با نهایت سرعت اجرا کنند. با این حال، توان عملیاتی سرتاسری مدل به فاکتورهایی مثل اندازه بچ (Batch Size)، طول رشته ورودی، پهنای باند حافظه، مسیریابی متخصصان در مدل و سهم عملگرهای فشرده‌نشده بستگی دارد؛ بنابراین استفاده از فرمت FP8 سقف کارایی سخت‌افزار را به شکل چشمگیری افزایش می‌دهد، اما لزوماً به این معنی نیست که تعداد پاسخ‌ها در هر ثانیه دقیقاً دو برابر خواهد شد.