کولاک DeepSeek V4.1 Flash در بنچمارک‌ها؛ اجرای قدرتمند ایجنت‌های کدنویسی فقط با دو کارت گرافیک

تحول در محاسبات اقتصادی؛ مدل DeepSeek V4.1 Flash معادلات ایجنت‌های کدنویسی را تغییر داد

نتایج جدید بنچمارک AA-AgentPerf نشان می‌دهد که شتاب‌دهنده‌های انویدیا (NVIDIA) و ای‌ام‌دی (AMD) در پردازش بارهای کاری سنگین و هم‌زمانِ ایجنت‌های کدنویسی با مدل DeepSeek V4.1 Flash تا چه اندازه بازدهی دارند. با در نظر گرفتن خروجی ۱۰۰ توکن بر ثانیه برای هر ایجنت، سیستم عظیم GB300 NVL72 انویدیا بیش‌ترین توان پردازشی به ازای هر مگاوات مصرف برق را به ثبت رسانده است؛ اما نکته بسیار جالب اینجاست که یک نود کوچک‌تر مجهز به ۸ پردازنده B300 در بیش‌تر سناریوهای این بنچمارک عملکردی بسیار نزدیک به آن داشته و اختلافش تنها در حدود ۲۰ درصد باقی مانده است.

بنچمارکی ویژه برای سنجش زمینه‌های طولانی و در حال رشد

بنچمارک AA-AgentPerf سناریوهای واقعی و چندمرحله‌ای کدنویسی را بازسازی می‌کند؛ سناریوهایی که با هر تعامل و ارسال پیام جدید، حجم زمینه یا پرامپت (Context) ورودی در آن‌ها بزرگ‌تر می‌شود. حالت‌های توجه قبلی در حافظه کش کلید-مقدار (که اصطلاحاً به آن KV Cache می‌گویند) ذخیره می‌شوند؛ بنابراین در هر مرحله جدید، فقط توکن‌های تازه نیاز به پردازش اولیه (Prefill) دارند و تولید توکن‌های جدید نیز در مرحله رمزگشایی (Decode) انجام می‌شود. علاوه بر این، فراخوانی ابزار‌ها (Tool Calls) باعث ایجاد وقفه‌هایی بین مراحل می‌شود و در برخی سناریوها، حجم پرامپت ورودی از مرز ۱۰۰ هزار توکن هم عبور می‌کند.

این بنچمارک، توان خروجی کل را بر حسب یک مگاوات توان مصرفی در زمان اجرا می‌سنجد و هم‌زمان سرعت تولید پاسخ به ازای هر ایجنت را در سطوح مختلف هم‌زمانی بررسی می‌کند. این نوع گزارش به‌خوبی نشان می‌دهد که افزایش تعداد کاربران چقدر روی سرعت پاسخ‌دهی سیستم تأثیر می‌گذارد. البته باید به این نکته دقت کرد که معیار توان در اینجا صرفاً مصرف برق فعال خود شتاب‌دهنده‌ها را پوشش می‌دهد و هزینه‌های خرید سخت‌افزار، سیستم‌های خنک‌کننده، شبکه و زیرساخت دیتاسنتر نیاز به تحلیل و حساب‌کتاب جداگانه دارد.

پیشتازی مقتدرانه GB300 و نزدیکی غافلگیرکننده B300

در سرعت هدف ۱۰۰ توکن خروجی بر ثانیه برای هر ایجنت، رتبه‌بندی سیستم‌های مختلف در اجرای مدل DeepSeek V4.1 Flash به شرح زیر است:

یکی از برگ‌های برنده بزرگ DeepSeek V4.1 Flash این است که حتی روی دو پردازنده گرافیکی هم بالا می‌آید و کار می‌کند؛ قابلیتی که نیاز حتمی به رک‌های عظیم چند ده‌کارته را برای اجرای این مدل کم‌رنگ می‌کند. عملکرد سیستم ۸ کارته B300 در بیش‌تر سطوح هم‌زمانی بسیار نزدیک به سیستم غول‌پیکر ۷۲ کارته GB300 باقی می‌ماند. این موضوع به مدیران زیرساخت گزینه‌ای عالی و منعطف می‌دهد تا در صورت محدودیت فضا، تراکم رک یا بودجه خرید، بدون افت چشمگیر کارایی، از سیستم‌های جمع‌وجورتر استفاده کنند.

در اجرای انفرادی (اندازه بچ ۱)، سیستم‌های نسل بلک‌ول (Blackwell) انویدیا و تراشه MI355X ای‌ام‌دی برای یک ایجنت به سرعتی معادل ۶۰۰ تا ۶۷۰ توکن بر ثانیه می‌رسند. در همین بنچمارک، کارت‌های نسل هاپر (Hopper) مثل H100 و H200 سرعتی در حدود ۳۷۲ تا ۳۹۲ توکن بر ثانیه را به ثبت رسانده‌اند.

محاسبات نامتقارن؛ شگرد زیرکانه برای کاهش چشمگیر هزینه‌های مرحله پیش‌پردازش

مدل DeepSeek V4.1 Flash بر پایه معماری بومی چندوجهی ترکیبی از متخصصان (MoE) ساخته شده که در مجموع ۵۵۲ میلیارد پارامتر دارد و پنجره زمینه‌ای تا سقف ۱ میلیون توکن را پشتیبانی می‌کند. ساختار رمزگذار-رمزگشای (Encoder-Decoder) علیِ ۴۰ لایه‌ای این مدل، شامل ۲۰ لایه رمزگذار و ۲۰ لایه رمزگشا است. شاهکار معماری اینجاست که مدل در مرحله پیش‌پردازش (Prefill) تنها حدود ۸ میلیارد پارامتر فعال را برای هر توکن به کار می‌گیرد، اما در مرحله تولید پاسخ (Decode) این رقم به ۱۶ میلیارد پارامتر فعال می‌رسد.

این تفکیک هوشمندانه محاسبات، بهترین فرمول ممکن برای ایجنت‌های کدنویسی است؛ چرا که در کار با این ایجنت‌ها، پرامپت‌ها و فایل‌های ورودی انباشته‌شده معمولاً بسیار حجیم‌تر از پاسخ‌های ارائه‌شده هستند. فعال‌سازی پارامترهای بسیار کم‌تر در مرحله پیش‌پردازش، بار محاسباتی خواندن و پردازش فایل‌های کد، نتایج ابزار‌ها و مکالمات قبلی را به شکل چشمگیری پایین می‌آورد.

فشرده‌سازی حافظه کش؛ جهش چشمگیر در ظرفیت میزبانی هم‌زمان جلسات

حافظه کش کلید-مقدار (KV Cache) وضعیت توجه توکن‌های قبلی را ذخیره می‌کند تا مدل بتواند بدون نیاز به بازخوانی و محاسبه کل تاریخچه گفتگو از صفر، مکالمه را ادامه دهد. با این حال، زمینه‌های طولانی حجم فوق‌العاده زیادی از حافظه شتاب‌دهنده را می‌بلعند؛ بنابراین محدودیت حافظه کش می‌تواند خیلی زودتر از تمام شدن توان محاسباتی خام، ظرفیت میزبانی هم‌زمان ایجنت‌ها را اشباع کند.

دیپ‌سیک برای حل این چالش، چند فناوری پیشرفته را با هم ترکیب کرده تا این ردپای حافظه را به حداقل برساند:

• توجه تنک فشرده ۲ (Compressed Sparse Attention 2): وضعیت توجه مورد استفاده برای زمینه‌های طولانی را به شکلی بهینه محدود می‌کند.
• ذخیره‌سازی کش با فرمت FP4: کش اصلی را با دقت ۴ بیتی ذخیره می‌کند تا فضای کمتری اشغال شود.
• فناوری‌های SWA Bounded Replay و Single-Pass mHC: حجم اطلاعات حفظ‌شده در حافظه و پردازش‌های تکراری را تا حد زیادی کاهش می‌دهند.
• حافظه شرطی Engram: الگوهای توکن یادگرفته‌شده را تنها در صورت نیاز فراخوانی و بازیابی می‌کند.
• رمزگشایی حدسی DSpark: با پیشنهاد و ارزیابی گروهی توکن‌ها، سرعت تولید متن را به‌شدت بالا می‌برد.

در پیکربندی اعلام‌شده، این بهینه‌سازی‌ها باعث شده‌اند که حافظه جهانی KV Cache تا ۸۹۰ بایت به ازای هر توکن کاهش یابد؛ رقمی که حدود یک‌هشتم حافظه مورد نیاز نسخه قبلی یعنی DeepSeek V4 Flash است. مصرف حافظه بسیار کم‌تر برای هر توکن، این امکان را فراهم می‌کند که تعداد بسیار بیشتری از جلسات طولانی ایجنت‌ها به طور هم‌زمان روی یک شتاب‌دهنده اجرا شوند.

علاوه بر این، حافظه Engram یک فضای جداگانه ۱۹۶ میلیارد پارامتری شامل امبدینگ‌های الگوهای توکن اضافه می‌کند که می‌تواند مستقیماً روی حافظه اصلی پردازنده مرکزی (CPU RAM) قرار بگیرد. این ابتکار باعث می‌شود ظرفیت گران‌قیمت حافظه شتاب‌دهنده‌های گرافیکی تماماً برای وزن‌های فعال مدل و حافظه کش KV آزاد بماند.

شکست مدل Pro؛ نسخه Flash هم باهوش‌تر است و هم کم‌مصرف‌تر!

مدل V4.1 Flash دارای بدنه ۵۵۲ میلیارد پارامتری است و در مرحله رمزگشایی ۱۶ میلیارد پارامتر فعال دارد؛ در مقایسه، مدل DeepSeek V4 Pro 0813 با ۱.۶ تریلیون پارامتر کل و ۴۹ میلیارد پارامتر فعال کار می‌کند. جالب اینجاست که در شاخص هوش پایگاه Artificial Analysis، نسخه سبک‌تر Flash امتیاز ۳۹ را به دست آورده، در حالی که نسخه غول‌پیکر Pro امتیاز ۳۶ را کسب کرده است!

در سرعت هدف ۱۰۰ توکن خروجی بر ثانیه برای هر ایجنت، مدل Flash روی سیستم GB300 حدود ۱.۳ برابر و روی پردازنده B200 تا ۶.۲ برابر توان خروجی بیشتری به ازای هر مگاوات نسبت به مدل V4 Pro 0813 ثبت کرده است. همین تفاوت گسترده نشان می‌دهد که چرا برای مقایسه مدل‌ها، باید به بنچمارک‌های سخت‌افزاری دقیق تکیه کرد و نمی‌توان صرفاً به یک عدد بازدهی کلی اکتفا کرد.

جدول رده‌بندی به‌روزرسانی‌شده علاوه بر V4.1 Flash، مدل‌های دیگری همچون V4 Pro 0813، مدل Kimi K3 و خانواده GLM-5.2 و 5.3 را هم پوشش می‌دهد. موسسه Artificial Analysis اعلام کرده که قصد دارد هم‌زمان با معرفی مدل‌های وزن‌باز در آینده، بنچمارک‌های روز اول آن‌ها را نیز منتشر کند.

چگونه از این نتایج برای طراحی زیرساخت استفاده کنیم؟

توسعه‌دهندگانی که قصد دارند زیرساخت مناسب برای اجرای ایجنت‌های کدنویسی را تهیه کنند، می‌توانند از این نتایج به چند روش کاربردی بهره ببرند:

• مقایسه ابعاد استقرار سرور: مدلی که روی دو کارت گرافیک اجرا می‌شود، برتری اقتصادی سیستم‌های غول‌پیکر در ابعاد رک را تا حد زیادی کم‌رنگ می‌کند.
• محاسبه جداگانه مرحله پیش‌پردازش: جلساتی از ایجنت‌ها که پرامپت‌های سنگینی دارند، از مدل‌هایی که در دریافت زمینه به پردازش کمتری نیاز دارند بیش‌ترین نفع را می‌برند.
• ردیابی بایت‌های کش به ازای هر توکن: فشرده‌سازی KV مستقیماً مشخص می‌کند چه تعداد جلسه طولانی در حافظه کارت گرافیک جا می‌گیرد.
• سنجش تأخیر در سطوح هم‌زمانی پایین: سیستم‌های نسل هاپر در سرعت پردازش تک‌ایجنتی، عقب‌تر از بلک‌ول و MI355X قرار گرفته‌اند.
• آزمایش کل پیکربندی: معماری مدل، نرم‌افزار استنتاج، روش‌های کوانتیزاسیون، اتصالات شبکه داخلی و نوع شتاب‌دهنده، همگی دست به دست هم می‌دهند و روی نتیجه نهایی تأثیر می‌گذارند.

این بنچمارک کمک می‌کند مدل، نرم‌افزار سرور و سخت‌افزار را به عنوان یک پکیج یکپارچه ارزیابی کنید. تیم‌های فنی حتماً باید قبل از سرمایه‌گذاری سنگین روی سرورها، سیستم‌های منتخب را بر اساس طول پرامپت‌ها، نرخ فراخوانی ابزارها، سرعت پاسخ‌دهی مدنظر، الگوی هم‌زمانی کاربران و مصرف برق واقعی خودشان تست و اعتبارسنجی کنند.