افزایش ۸۰ درصدی سرعت هوش مصنوعی در کارت گرافیک RTX 3090 Ti با ماژول gpu-unlock

یک ماژول متن‌باز برای کرنل لینوکس با عنوان gpu-unlock محدودیت نرخ اجرای دستورات را در پردازش‌های ماتریسی هسته‌های Tensor Core برطرف کرده است؛ محدودیتی که محاسبات با دقت ترکیبی FP16 و BF16 همراه با انباشت FP32 را در برخی از کارت‌های گرافیک سری GeForce معماری Ampere انویدیا با افت سرعت مواجه می‌کرد. اعمال این تغییر نه نیازی به دستکاری VBIOS دارد و نه به نصب درایورهای تغییریافته انویدیا وابسته است. نتایج بنچمارک‌های اولیه روی کارت‌های گرافیک RTX 3090 و RTX 3090 Ti نشان می‌دهد که سرعت اجرای عملیات ماتریسی هدفمند تا مرز دو برابر افزایش پیدا می‌کند؛ هرچند گستره پشتیبانی سخت‌افزاری و پایداری بلندمدت این روش هنوز به‌شکل گسترده مورد آزمایش قرار نگرفته است.

آشکار شدن محدودیت عمدی در معماری Ampere

این پروژه بخشی از سامانه سخت‌افزاری انتخاب سرعت را هدف می‌گیرد که سرعت صدور دستورات مشخصی در هسته‌های تانسور پردازنده‌های گرافیکی GA102 و GA104 سری GeForce را کاهش می‌داد. این محاسبات با دقت ترکیبی، نقشی اساسی در فرایند آموزش شبکه‌های عصبی، مرحله پردازش اولیه ورودی‌ها (Prefill)، تولید تصویر و سایر بارهای کاری دارند که مقادیر فرمت‌های FP16 یا BF16 را در هم ضرب کرده و نتایج نهایی را در قالب FP32 جمع‌آوری می‌کنند.

مشخصات رسمی منتشرشده از معماری Ampere توسط انویدیا نیز به‌خوبی گویای این محدودیت است. توان محاسباتی کارت گرافیک RTX 3090 در این حالت متراکم روی حدود ۷۱ ترافلاپس تعیین شده است، در حالی که کارت‌های حرفه‌ای مبتنی بر تراشه GA102 به حدود دو برابر این سرعت دست پیدا می‌کنند. برای مثال، کارت ایستگاه کاری RTX A6000 در پردازش متراکم مشابه هسته‌های تانسور FP16 به توان حدود ۱۵۵ ترافلاپس می‌رسد. هرچند تفاوت در فرکانس کاری و تعداد هسته‌های فعال نیز در نتایج نهایی اثرگذار است، اما تنظیمات مربوط به نرخ صدور دستورات، دلیل اصلی این شکاف عملکردی بزرگ میان کارت‌های مصرفی و صنعتی به شمار می‌رود.

این ماژول لینوکسی با نوشتن مقدار 0x88888888 در رجیستر تعیین سرعت SS0، اجازه می‌دهد نرخ کامل دستورات BF16 حتی پیش از بارگذاری و راه‌اندازی کارت توسط درایور انویدیا فعال شود. سازوکار پیاده‌سازی این روش، ترکیبی هوشمندانه از تکنیک بارگذاری فریمور V67/PLM (که پیش‌تر در پژوهش‌های مربوط به کارت‌های ماینینگ سری CMP به کار رفته بود) و زمان‌بندی راه‌اندازی اولیه در ابزارهای مبتنی بر UEFI است.

تغییر مقادیر رجیستر پیش از کنترل لینوکس بر پردازنده گرافیکی

از آنجا که رجیستر هدف تنها زمانی قابل تغییر است که کارت گرافیک تازه روشن شده باشد و هنوز به درایور سیستم متصل نشده باشد، این ماژول تنظیمات حیاتی را در سریع‌ترین مرحله راه‌اندازی و پیش از آنکه لینوکس کنترل کامل کارت گرافیک را در دست بگیرد، اعمال می‌کند.