شتاب خیره‌کننده مدل زبانی MiniCPM5 با دستیار ۳۲۴ میلیونی DSpark؛ جهش چشمگیر در تولید موازی توکن‌ها

تیم OpenBMB با مدل پیش‌نویس ۳۲۴ میلیونی DSpark به سراغ شتاب‌بخشی به MiniCPM5-2B رفت

مجموعه OpenBMB به تازگی از چک‌پوینت DSpark رونمایی کرده است؛ یک مدل پیش‌نویس با ۳۲۳.۸ میلیون پارامتر که به طور ویژه برای شتاب‌بخشی به مدل MiniCPM5-2B از طریق تکنیک رمزگشایی گمانه‌زنانه (Speculative Decoding) آموزش دیده است. در این فرایند، فریم‌ورک محبوب SGLang با کمک این مدل جمع‌وجور، بلوک‌های ۷ توکنی را حدس می‌زند و پیشنهاد می‌دهد؛ سپس مدل اصلی با ۲.۵۲ میلیارد پارامتر تنها در یک مرحله، صحت تمام این پیشنهاد‌ها را به سرعت بررسی و تأیید می‌کند.

مدل زبانی MiniCPM5-2B یک مدل متراکم (Dense) برای پیش‌بینی توکن بعدی با ۴۲ لایه، مکانیزم توجه کوئری گروه‌بندی‌شده (GQA) و پنجره زمینه بومی ۱۳۱٬۰۷۲ توکنی است. معماری مبتنی بر LlamaForCausalLM در این مدل به موتورهای استنتاج استاندارد اجازه می‌دهد تا آن را بدون نیاز به کرنل‌های توجه سفارشی و پیچیده، به راحتی بارگذاری و اجرا کنند.

بر اساس بررسی اجمالی بنچمارک‌های منتشرشده، این مدل موفق شده در میانگین ۳۴ ارزیابی گوناگون امتیاز ۵۳.۹ را کسب کند که به شکل معناداری از امتیاز ۵۱.۱ مدل Qwen3.5-4B بالا‌تر است. از جمله نتایج درخشان آن می‌توان به امتیاز ۶۹.۱ در بنچمارک LiveCodeBench v6 و امتیاز ۹۷.۱ در آزمون τ2-Bench Telecom اشاره کرد. با این حال، از آنجا که نمرات کلی ترکیبی از وظایف مختلف هستند، تست عملی و ارزیابی در محیط استقرار واقعی همچنان برای سناریوهای کاری مختلف ضروری خواهد بود.

بلوک‌های هفت‌توکنی در کنار یک اعتبارسنج قدرتمند

تکنیک رمزگشایی گمانه‌زنانه به یک مدل کوچک‌تر اجازه می‌دهد تا با صرف هزینه محاسباتی بسیار ناچیز، چند توکن بعدی را پیش‌بینی و پیشنهاد کند. سپس مدل اصلی و بزرگ‌تر کل بلوک پیشنهادی را به صورت موازی ارزیابی کرده، توکن‌هایی که قوانین اعتبارسنجی را برآورده می‌کنند می‌پذیرد و از اولین موقعیت ردشده، کار تولید را دوباره پیش می‌برد. در این ساختار، مدل هدف همچنان مسئولیت صحت توالی نهایی خروجی را حفظ می‌کند، در حالی که دقت بالای مدل پیش‌نویس تعیین می‌کند که در هر دور اعتبارسنجی چه میزان از بار محاسباتی کاهش یابد.

مدل DSpark مشکل افت نرخ پذیرش توکن‌ها را که در پیش‌نویس‌کننده‌های موازی بسیار رایج است حل می‌کند؛ مشکلی که در آن توکن‌های انتهایی بلوک معمولاً اطلاعات کافی از توکن‌های ابتدایی ندارند. ستون فقرات موازی این مدل پیش‌نویس‌های اولیه را تولید می‌کند، یک ماژول متوالی سبک وابستگی‌های درون بلوک را به آن می‌افزاید، و در نهایت یک زمان‌بند اطمینان هوشمند بر اساس بقای تخمینی پیشوندها و مشخصات توان پردازشی موتور ارائه‌دهنده خدمت، تعیین می‌کند که چه تعداد از پیشنهاد‌ها برای اعتبارسنجی نهایی ارسال شوند.