انویدیا حجم مدل DeepSeek V4.1 Flash را بدون افت کیفیت ۷۵ گیگابایت کاهش داد

شرکت انویدیا نسخه کوانتایز‌شده جدیدی از مدل DeepSeek-V4.1-Flash-1017 را منتشر کرده است که حجم چکپوینت آن را از حدود ۴۷۵ گیگابایت به ۴۰۰ گیگابایت کاهش می‌دهد؛ تغییری که معادل کاهشی نزدیک به ۱۶ درصد است. در میان ۶ بنچمارک مختلف شامل استدلال، کدنویسی، بینایی ماشین، پیروی از دستورات، پردازش متن‌های طولانی و ایجنت‌ها، نمرات مدل حداکثر ۰٫۷۰ امتیاز تغییر کرده و افتی محسوس نداشته است. بر اساس توضیحات منتشرشده در شناسنامه مدل NVFP4، این نسخه برای اجرا روی پردازنده‌های گرافیکی Blackwell از طریق فریمورک vLLM بهینه‌سازی شده و با مجوز متن‌باز MIT برای هر دو کاربرد تجاری و غیرتجاری در دسترس قرار گرفته است.

فعال شدن تنها بخشی از مدل در پردازش هر توکن

نسخه پایه این مدل، یک مدل ترکیبی از متخصصان (Mixture-of-Experts) با ماهیت چندحالته ذاتی است که از ساختار اصلی Causal Encoder-Decoder، سازوکار توجه فشرده و تنک موسوم به Compressed Sparse Attention 2 و پنجره زمینه تا سقف یک میلیون توکن بهره می‌برد. تیم DeepSeek این معماری را طوری طراحی کرده است که علاوه بر پردازش متون و تصاویر، بار محاسباتی توجه موردنیاز برای پرامپت‌های طولانی را به‌طور چشمگیری محدود کند.

ساختار پایه این مدل در مجموع شامل ۵۵۲ میلیارد پارامتر است، اما سیستم مسیریابی هوشمند آن در فاز پردازش ورودی (Prefill) تنها حدود ۸ میلیارد پارامتر و در فاز تولید توکن‌ها (Decoding) نزدیک به ۱۶ میلیارد پارامتر را فعال می‌کند. هم‌چنین یک ماژول مجزای ۱۹۶ میلیارد پارامتری به نام Engram به کمک جدول‌های جستجو (Lookup Tables)، حافظه شرطی مدل را تأمین می‌کند.

فناوری فشردهسازی ۴ بیتی انویدیا چگونه اعمال شده است؟

انویدیا این نسخه فشرده را از طریق فرآیند کوانتایزیشن پس از آموزش (Post-Training Quantization) و به کمک ابزار Model Optimizer تولید کرده است. متخصصان مسیریابیشده استاندارد از وزن‌ها و اکتیویشن‌های NVFP4 (موسوم به پیکربندی W4A4) بهره می‌برند که در آن برای هر گروه ۱۶تایی از مقادیر، یک مقیاس مشخص در نظر گرفته شده است. این تبدیل شامل پروجکشن‌های w1، w2 و w3 در سراسر ۳۸۴ متخصص و ۴۰ لایه مدل می‌شود.

جدول‌های جستجوی ماژول Engram نیز از دقت FP8 به استاندارد MXFP4 منتقل شده‌اند. در عین حال، لایه‌های توجه، متخصصان مشترک، بخش‌های پردازش تصویر و ماژول‌های پیش‌بینی چندتوکنی، دقت اصلی خود را به‌طور دستنخورده حفظ کرده‌اند. این رویکرد انتخابی و هوشمندانه، بیشترین میزان فشردهسازی را روی بزرگ‌ترین تانسورهای مسیریابیشده مدل متمرکز می‌کند و هم‌زمان دقت بالاتری را برای بخش‌هایی که حساسیت بیشتری به فرآیند کوانتایزیشن دارند، نگه می‌دارد.