انویدیا از مدل Nemotron 3.5 Lightning رونمایی کرد؛ پردازش متن‌های طولانی روی یک پردازنده گرافیکی

انویدیا از مدل وزن‌باز Nemotron 3.5 Lightning 30B A3B رونمایی کرد؛ مدلی با ۳۰ میلیارد پارامتر که در زمان پردازش هر توکن، تنها حدود ۳ میلیارد پارامتر آن فعال می‌شوند. بر اساس اطلاعات درج‌شده در شناسنامه مدل (Model Card)، این معماری ترکیبی از لایه‌های فضای حالت Mamba-2، سازوکار توجه انتخابی ترنسفورمر، متخصصان پراکنده (Sparse Experts) و سرهای پیش‌بینی چندتوکنی (Multi-Token Prediction) را به خدمت گرفته است. هدف اصلی این طراحی، سفارشی‌سازی برای زمینه‌های متنی طولانی و اجرای بسیار بهینه روی طیف وسیعی از سخت‌افزارها، از پردازنده‌های گرافیکی ۸۰ گیگابایتی مراکز داده گرفته تا سامانه‌های پیشرفته Blackwell است.

سازوکار پارامترهای فعال ۳ میلیاردی چگونه است؟

لایه‌های معماری Mamba-2 توالی‌های متنی را با بار محاسباتی پردازش می‌کنند که به‌شکل خطی همراه با طول توالی رشد می‌کند. در نقطه مقابل، مکانیزم خودتوجهی کامل در معماری‌های سنتی، جفت‌های توکن را با یکدیگر مقایسه می‌کند و با افزایش طول توالی، حجم محاسبات آن به‌صورت درجه دو (مربعی) جهش می‌یابد. مدل Lightning با هوشمندی لایه‌های توجه انتخابی را برای جستجو و بازیابی مستقیم میان توکن‌ها حفظ کرده، در حالی که در بخش اعظم شبکه از لایه‌های فضای حالت بهره می‌برد.

مسیریابی در معماری Mixture-of-Experts به گونه‌ای طراحی شده که هر توکن را تنها از میان زیرمجموعه‌ای از وزن‌های متخصص مدل عبور می‌دهد. این شیوه هدایت داده‌ها، محاسبات ریاضی لازم به ازای هر توکن را به‌شدت کاهش می‌دهد؛ هرچند یک سرور تک‌دستگاهی همچنان باید مجموعه کامل ۳۰ میلیارد پارامتر را در حافظه خود بارگذاری کند. از این رو، حجم حافظه مورد نیاز بر اساس فایل مدل کامل سنجیده می‌شود، در حالی که هزینه محاسباتی تولید متن عمدتاً تابع مسیر فعال، سربار مسیریابی و لایه‌های توجه است.

سرهای پیش‌بینی چندتوکنی (Multi-Token Prediction) می‌آموزند که چندین موقعیت بعدی را از همان حالت پنهان پیش‌بینی کنند. این سرها علاوه بر ایجاد سیگنال آموزشی مضاعف در مرحله تمرین، می‌توانند در زمان کدگشایی حدسی (Speculative Decoding) به‌عنوان یک موتور پیش‌نویس درون‌برنامه‌ای عمل کرده و سرعت خروجی را افزایش دهند.

پنجره زمینه طولانی در گرو ظرفیت حافظه

انویدیا پنجره زمینه ۱ میلیون توکنی را برای این مدل تبلیغ می‌کند؛ با این حال، محدودیت واقعی و قابل استفاده بر اساس میزان حافظه شتاب‌دهنده، دقت فایل مدل، اندازه بسته داده‌ها (Batch Size) و پیکربندی سرور تعیین می‌شود. شناسنامه رسمی این مدل اهداف استقرار زیر را مشخص کرده است: