خط و نشان انویدیا با Vera Rubin NVL72؛ جهش ۵.۷ برابری در پردازش ایجنت‌های هوش مصنوعی
نخستین ارزیابی‌های تخصصی نشان می‌دهد غول پردازشی جدید انویدیا یعنی Vera Rubin NVL72، در اجرای ایجنت‌های هوش مصنوعی تا ۵.۷ برابر بهره‌وری انرژی بهتری نسبت به نسل قبلی ثبت کرده است. این ابررک هوش مصنوعی با تکیه بر حافظه‌های نسل جدید HBM4 و پهنای باند سرسام‌آور، مصرف برق و هزینه‌های عملیاتی دیتاسنترها را به شکلی چشمگیر کاهش می‌دهد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- معماری جدید Vera Rubin NVL72 انویدیا با ۷۲ پردازنده گرافیکی مجهز به حافظه پرسرعت HBM4، در پردازش ایجنت‌های هوش مصنوعی تا ۵.۷ برابر توان عملیاتی بالاتری به ازای هر مگاوات نسبت به GB300 تحویل می‌دهد.
- در تست مدل‌های پرچمداری مثل DeepSeek V4 Pro و Kimi K3، در حالی که کارت‌های نسل قبل در سرعت‌های بالا با افت کارایی ۸۱ درصدی مواجه شدند، رابین با افت ناچیز ۱۶ درصدی رکوردهای سرعتی خیره‌کننده‌ای تا ۹۰۶ توکن بر ثانیه ثبت کرد.
- از آنجا که دیتاسنترهای مدرن با محدودیت شدید سقف مصرف برق روبه‌رو هستند، این جهش بازدهی به غول‌های فناوری اجازه می‌دهد تا ۵ برابر ایجنت‌های کدنویسی بیشتری را روی بودجه برقی یکسان مستقر کنند.
چرا اجرای بهینه پردازش‌های مربوط به ایجنت‌های کدنویسی این‌قدر دشوار است؟
برتری خیره‌کننده Vera Rubin NVL72 نسبت به GB300 NVL72؛ تا ۵.۷ برابر بهره‌وری بالا‌تر به ازای هر مگاوات
سیستم رک‌مقیاس (Rack-scale) جدید Vera Rubin NVL72 همان ساختار کلی نسل قبل یعنی GB300 NVL72 را حفظ کرده و ۷۲ پردازنده گرافیکی (GPU) و ۳۶ پردازنده مرکزی (CPU) را درون یک دامنه واحد NVLink در کنار هم قرار داده است. هر کارت گرافیک Rubin مثل بلک‌ول اولترا (Blackwell Ultra) همچنان ۲۸۸ گیگابایت حافظه دارد، اما این بار به لطف حافظه‌های نسل جدید HBM4 پهنای باند حافظه آن ۲.۴ برابر شده، پهنای باند NVLink به ۱.۷ برابر رسیده و توان محاسباتی NVFP4 چگال (Dense) آن هم ۲.۳ برابر جهش داشته است. از طرف دیگر، پردازنده‌های مرکزی جدید Vera پهنای باند اتصال NVLink-C2C به پردازنده‌های گرافیکی را دو برابر کرده‌اند؛ یعنی دقیقاً همان اتصالی که وظیفه انتقال کش KV منتقل‌شده به حافظه رم پردازنده را بر عهده دارد.
مشخصات به ازای هر GPU | رابین (Vera Rubin NVL72) | بلک‌ول اولترا (GB300 NVL72) |
|---|---|---|
حافظه گرافیکی (GPU Memory) | ۲۸۸ گیگابایت HBM4 | ۲۸۸ گیگابایت HBM3E |
پهنای باند حافظه | ۱۹.۲ ترابایت بر ثانیه | ۸ ترابایت بر ثانیه |
پهنای باند NVLink | ۳.۰ ترابایت بر ثانیه (NVLink 6) | ۱.۸ ترابایت بر ثانیه (NVLink 5) |
توان محاسباتی NVFP4 چگال (Dense) | ۳۵ پتافلاپس | ۱۵ پتافلاپس |
توان محاسباتی NVFP4 خلوت (Sparse) | ۵۰ پتافلاپس | ۲۰ پتافلاپس |
پردازنده مرکزی (CPU) | ورا (Vera)، ۸۸ هسته | گریس (Grace)، ۷۲ هسته |
ارتباط CPU به GPU در هر سوپرچیپ | ۱.۸ ترابایت بر ثانیه NVLink-C2C | ۰.۹ ترابایت بر ثانیه NVLink-C2C |
توان مصرفی ثبت‌شده در این آزمایش‌ها | ۰.۵ تا ۱.۹ کیلووات | ۰.۳ تا ۱.۰ کیلووات |
این مشخصات از صفحات رسمی انویدیا برای محصولات Vera Rubin NVL72، Blackwell Ultra و GB300 NVL72 (تا اکتبر ۲۰۲۶) استخراج شده است. توان مصرفی اندازه‌گیری‌شده در این آزمایش‌ها، توان مصرفی خالص هر GPU زیر بار پردازشی است (شامل خود پردازنده گرافیکی و حافظه HBM آن بر اساس داده‌های تله‌متری DCGM/SMI انویدیا، بدون احتساب مصرف پردازنده‌های مرکزی، تجهیزات شبکه و سیستم خنک‌کننده) که در پیکربندی‌های بهینه هر سیستم برای اجرای این چهار مدل به دست آمده است.
نتایج بنچمارک در چهار مدل مختلف
در این بررسی‌ها، توان عملیاتی کل (Total Throughput) به ازای هر مگاوات توان مصرفی GPU در برابر سرعت خروجی به ازای هر کاربر سنجیده شده است. توان عملیاتی کل شامل توکن‌های ورودی (هم توکن‌های کش‌شده و هم توکن‌های پیش‌پردازش‌شده جدید) و توکن‌های خروجی است که حدود ۹۶ درصد آنها را ورودی‌های کش‌شده تشکیل می‌دهند. سرعت هر کاربر نیز بر اساس صدک بیست‌وپنجم (p25) درخواست‌ها بدون احتساب زمان رسیدن به اولین توکن (TTFT) محاسبه شده که مبنای تمام سرعت‌های ذکرشده در این گزارش است. هر نقطه در نمودارها نشان‌دهنده یک پیکربندی اجرایی با تعداد مشخصی ایجنت است و بیش‌ترین برتری Vera Rubin نسبت به GB300 را نشان می‌دهد.
- ➤ در اوج توان عملیاتی، سیستم Vera Rubin NVL72 در مدل DeepSeek V4 Pro موفق به پردازش ۲۷۲ میلیون توکن بر ثانیه به ازای هر مگاوات شد، در حالی که GB300 NVL72 به رکورد ۲۳۹ میلیون توکن رسید (۱.۱۴ برابر). این رقم در DeepSeek V4.1 Flash برابر با ۵۷۱ میلیون در مقابل ۳۹۵ میلیون توکن (۱.۴۵ برابر)، در GLM-5.2 برابر با ۲۷۲ میلیون در برابر ۲۰۱ میلیون توکن (۱.۳۵ برابر) و در Kimi K3 برابر با ۷۰ میلیون در مقایسه با ۵۶ میلیون توکن بر ثانیه (۱.۲۶ برابر) بوده است.
- ➤ بیش‌ترین فاصله رابین زمانی رخ می‌دهد که توان عملیاتی GB300 با افت مواجه می‌شود؛ جایی که برتری Vera Rubin در مدل DeepSeek V4 Pro (با سرعت حدود ۱۹۰ توکن بر ثانیه برای هر کاربر) به ۵.۷ برابر می‌رسد! این برتری در DeepSeek V4.1 Flash (در سرعت ۵۸۰ توکن بر ثانیه) حدود ۵.۴ برابر، در GLM-5.2 (در سرعت ۱۶۵ توکن بر ثانیه) حدود ۳.۰ برابر و در Kimi K3 (در سرعت ۶۷ توکن بر ثانیه) به ۲.۸ برابر می‌رسد. جالب است بدانید برای افزایش سرعت کاربر از ۱۲۰ به ۱۶۵ توکن بر ثانیه در DeepSeek V4 Pro، سیستم GB300 حدود ۸۱ درصد از توان عملیاتی بر مگاوات خود را از دست می‌دهد، در حالی که این افت برای Vera Rubin تنها ۱۶ درصد است.
- ➤ به ازای هر کارت گرافیک (Per GPU)، برتری رابین حتی چشمگیرتر است: ۲.۰ تا ۲.۵ برابر در حداکثر توان عملیاتی، تا ۱۲ برابر در DeepSeek V4 Pro (در سرعت ۱۶۵ توکن بر ثانیه برای هر کاربر)، حدود ۱۸ برابر در DeepSeek V4.1 Flash (در سرعت ۵۸۰ توکن بر ثانیه)، نزدیک به ۷ برابر در GLM-5.2 (بین ۲۰۰ تا ۳۱۰ توکن بر ثانیه) و تا ۷ برابر در Kimi K3 (در سرعت ۱۷۶ توکن بر ثانیه).
- ➤ سریع‌ترین پیکربندی‌های Vera Rubin بالا‌ترین سرعت خروجی به ازای هر کاربر را در جدول رده‌بندی ثبت کرده‌اند؛ از جمله ۹۰۶ توکن بر ثانیه برای DeepSeek V4.1 Flash (سریع‌ترین رکورد ثبت‌شده میان تمام مدل‌ها تاکنون)، ۴۰۸ توکن بر ثانیه برای GLM-5.2 و ۲۵۵ توکن بر ثانیه برای Kimi K3.
بهره‌وری انرژی بالا‌تر به شکل مستقیم هزینه‌های عملیاتی اجرای مدل‌ها و تولید هر توکن را پایین می‌آورد. با توجه به این‌که دیتاسنترهای هوش مصنوعی امروزه بیش از آن‌که با کمبود فضا برای نصب شتاب‌دهنده‌ها مواجه باشند، با سقف مصرف برق مجاز خود محدود شده‌اند، این صرفه‌جویی انرژی امکان میزبانی همزمان تعداد بسیار بیشتری ایجنت هوش مصنوعی را در همان فضای دیتاسنتر فراهم می‌کند. به عنوان مثال در سرعت ۱۶۵ توکن بر ثانیه به ازای هر کاربر، با بودجه برقی یکسان می‌توان حدود ۵ برابر توکن بیشتری از مدل DeepSeek V4 Pro را روی Vera Rubin NVL72 نسبت به GB300 NVL72 پردازش کرد. علاوه بر این، در جدول رده‌بندی ارائه‌شده، تمام پیکربندی‌ها و تنظیمات دقیق فنی هر آزمون در دسترس تیم‌ها قرار گرفته تا بتوانند مستقیماً از ستاپ‌های بهینه‌سازی‌شده برای سخت‌افزار خود استفاده کنند و نیازی به صرف وقت و هزینه برای آزمون‌وخطاهای طولانی نداشته باشند.
نتایج DeepSeek V4 Pro؛ بیش‌ترین برتری در سرعت‌های سرسام‌آور
نتایج DeepSeek V4.1 Flash؛ جابه‌جایی مرزهای سرعت و بالا‌ترین توان عملیاتی در رده‌بندی
نتایج GLM-5.2؛ برتری ۳ برابری در پردازش‌های پرسرعت
نتایج Kimi K3؛ پیشتازی ۲.۸ برابری در سرعت‌های متوسط
انویدیا چگونه استک نرم‌افزاری Vera Rubin را برای بارکاری ایجنت‌ها بهینه‌سازی کرد؟
نگاهی جامع به پیکربندی‌های Vera Rubin در اجرای مدل‌های مختلف
ویژگی / تنظیمات | مدل DeepSeek V4 Pro | مدل DeepSeek V4.1 Flash | مدل GLM-5.2 | مدل Kimi K3 |
|---|---|---|---|---|
استک نرم‌افزاری اجرا (Serving stack) | TensorRT-LLM همراه با NVIDIA Dynamo | vLLM همراه با NVIDIA Dynamo | TensorRT-LLM همراه با NVIDIA Dynamo | TensorRT-LLM و همچنین vLLM برای یک ایجنت، هر دو با NVIDIA Dynamo |
فرمت وزن‌ها (Weights) | چک‌پوینت انویدیا در فرمت NVFP4 | چک‌پوینت رسمی دیپ‌سیک در فرمت MXFP4 | چک‌پوینت انویدیا در فرمت NVFP4 | چک‌پوینت انویدیا در فرمت NVFP4 |
معماری پیش‌پردازش و تولید (Prefill & Decode) | تفکیک‌شده (Disaggregated)؛ ورکرهای پیش‌پردازش DEP4، دیکود موازی گسترده اکسپرت‌ها (DEP16 یا DEP32)، دیکود TP4/EP4 برای ۳۴ ایجنت | تجمیعی (Aggregated) با TP4 یا TP2 برای ۱ و ۲ ایجنت؛ تفکیک‌شده از ۶۴ ایجنت به بالا با ۱ یا ۲ ورکر پیش‌پردازش TP2 و دیکود DEP4 (یا ۵ ورکر دیکود TP2) | تفکیک‌شده (Disaggregated)؛ ۱ تا ۳ ورکر پیش‌پردازش (TP2/EP2 یا DEP4) و دیکود روی TP8، TP4/EP4 یا DEP8 | تجمیعی روی TP8 با فریم‌ورک vLLM برای یک ایجنت؛ تفکیک‌شده از ۱۶ ایجنت به بالا (یک ورکر پیش‌پردازش TP8 با ۳ ورکر دیکود TP8 برای ۱۶ و ۳۰ ایجنت، و پیش‌پردازش DWDP16 با دیکود DEP16 از ۵۱۲ ایجنت به بالا) |
دیکود حدسی (Speculative decoding) | روش DSpark با ۳ تا ۷ توکن پیش‌نویس (Draft) | دیکود حدسی داخلی DSpark با ۶ توکن پیش‌نویس | روش MTP با ۴ تا ۸ توکن پیش‌نویس | روش DSpark با ۳ تا ۷ توکن پیش‌نویس |
کش کلید-مقدار (KV cache) | فرمت FP8 با انتقال (Offload) به حافظه رم پردازنده در ورکرهای پیش‌پردازش | حفظ در حافظه GPU با انتقال حافظه Engram مدل به حافظه رم پردازنده | فرمت FP8 با انتقال به رم در ورکرهای پیش‌پردازش (به جز یک پیکربندی) | فرمت FP8 با انتقال به رم در پیکربندی‌های TensorRT-LLM |
مسیریابی هوشمند (Routing) | مسیریابی آگاه از KV (مبتنی بر Session Affinity) | مسیریابی آگاه از KV بین دو ورکر پیش‌پردازش در ۱۰۲۴ ایجنت؛ ورکر تکی در سایر حالت‌ها | مسیریابی آگاه از KV (مبتنی بر Session Affinity) | مسیریابی آگاه از KV (مبتنی بر Session Affinity) |
تعداد GPU به ازای هر پیکربندی | ۳۲ تا ۵۶ کارت | ۲ تا ۱۲ کارت | ۱۰ تا ۲۰ کارت | ۸ تا ۴۸ کارت |
مطالعه بیش‌تر
مطالب مرتبط و پیشنهادی
عطش غول‌های هوش مصنوعی برای برق؛ انرژی زمین‌گرمایی چطور سوگلی جدید سیاستمداران و شرکت‌های فناوری شد؟
عطش دیتاسنترهای هوش مصنوعی برای تأمین برق پایدار و شبانه‌روزی، جان تازه‌ای به صنعت انرژی زمین‌گرمایی دمیده است. این منبع پاک اکنون به نقطه توافقی کم‌سابقه میان دموکرات‌ها و جمهوری‌خواهان در واشنگتن تبدیل شده و غول‌های فناوری حاضرند برای دسترسی به آن مبالغ سنگینی پرداخت کنند.
چالش بزرگ شرکت‌ها با هوش مصنوعی؛ ابزار‌ها آماده‌اند، اما نیروی متخصص کجاست؟
سازمان‌ها برای عقب نماندن از رقابت با شتاب به سمت ابزار‌های هوش مصنوعی هجوم آورده‌اند، اما بزرگ‌ترین مانع آنها نه کمبود نرم‌افزار، بلکه بحران نیروی انسانی ماهر است. با همه‌گیر شدن مدل‌های زبانی، خروجی‌های هوش مصنوعی رو به یکنواختی رفته‌اند و تنها با تفکر انتقادی، قضاوت انسانی و مهارت‌های تخصصی می‌توان از این فناوری یک مزیت رقابتی ساخت.
اپل: سیری نیازی به شکست ChatGPT ندارد؛ استراتژی متفاوت کوپرتینو در میدان هوش مصنوعی
در حالی که غول‌های فناوری میلیاردها دلار صرف ساخت باهوش‌ترین چت‌بات‌های دنیا می‌کنند، اپل مسیر کاملاً متفاوتی را در پیش گرفته است. مدیرعامل این شرکت معتقد است سیری اصلاً نیازی به شکست دادن ChatGPT در مسابقه هوش ندارد، بلکه برگ برنده اصلی در اطلاعات شخصی نهفته روی آیفون شماست.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.