چگونه حافظه فلش اتلاف ۶۰ درصدی توان پردازنده‌های گرافیکی را در اجرای هوش مصنوعی مهار می‌کند؟

پردازنده‌های گرافیکی (GPU) هنگام اجرای فرآیند استنتاج در مدل‌های زبانی بزرگ، ممکن است تا ۶۰ درصد از توان پردازشی خود را صرف محاسبه مجدد کانتکستی کنند که پیش‌تر پردازش کرده‌اند. آلن مک‌سونی (Alan McSeveney)، مدیر ارشد فناوری میدانی در شرکت WEKA، توضیح می‌دهد که ریشه این اتلاف منابع به شیوه نگهداری تاریخچه مکالمه در حافظه پردازنده گرافیکی برمی‌گردد. او تأکید می‌کند که حل این معضل به شرکت‌ها امکان می‌دهد با همان سخت‌افزاری که در اختیار دارند، به چندین برابر کاربر بیشتر سرویس‌دهی کنند. به گفته او، بزرگ‌ترین چالش‌های بهره‌وری که مشتریان با آن دست‌وپنجه نرم می‌کنند، نه در معیارهای سطح نرم‌افزار، بلکه مستقیماً در لایه زیرساخت خود را نشان می‌دهد.

مک‌سونی می‌گوید: «محدودیت‌هایی که سازمان‌ها با آن دست‌به‌گریبان هستند شامل بودجه، توان تأمین برق و فضای فیزیکی در دیتاسنترها است. این موانع در حال حاضر سد راه برنامه‌های رشد بسیاری از مجموعه‌ها شده‌اند؛ بنابراین همه شرکت‌ها تلاش می‌کنند بیشترین بازدهی ممکن را از سرمایه‌گذاری‌های سنگینی که پیش‌تر انجام داده‌اند، استخراج کنند.»

چرا پردازنده‌های گرافیکی کَش KV را در گفتگوهای چندمرحله‌ای دوباره محاسبه می‌کنند؟

در طول پردازش مکالمات چندمرحله‌ای، پردازنده‌های گرافیکی کانتکست پردازش‌شده را در کَش KV (حافظه پنهان کلید-مقدار) ذخیره می‌کنند تا مجبور نباشند در هر رفت‌وبرگشت پیام، محتوا را دوباره محاسبه کنند. با این حال، حافظه پردازنده‌های گرافیکی محدود است؛ وقتی کانتکست‌های قدیمی‌تر برای باز شدن فضا تخلیه می‌شوند، پردازنده گرافیکی در صورت ازسرگیری مکالمه ناچار است همان تاریخچه پیشین را از نو محاسبه کند.

او در این خصوص می‌گوید: «اگر بدون یک راهبرد مشخص با این چالش برخورد کنید، نرخ بهره‌وری پردازنده گرافیکی در پردازش درخواست‌های جدید ممکن است تا ۳۰ درصد سقوط کند. اما با اتخاذ یک راهبرد اصولی، این رقم به بالای ۹۰ درصد و در بهترین شرایط حتی به ۹۵ درصد خواهد رسید.»

مک‌سونی می‌افزاید وقتی مجموعه‌ای زیرساخت اختصاصی خود را برای بارهای کاری هوش مصنوعی پیاده‌سازی می‌کند، پردازنده‌های گرافیکی بیش از ۸۰ درصد بودجه را به خود اختصاص می‌دهند؛ از این رو، کارتی که چرخه پردازشی خود را صرف محاسبات تکراری کند، مصداق بارز «اتلاف فاجعه‌بار سرمایه» است.

برتری حافظه فلش NVMe نسبت به DRAM برای تخلیه کَش KV

صنعت هوش مصنوعی در حال حاضر به‌سمت راهکارهای تهاجمی‌تر برای استفاده مجدد و تخلیه (آفلود) کَش KV حرکت کرده است؛ رویکردی که در پروژه Mooncake، تکنیک‌های اخیر دیپ‌سیک (DeepSeek) و همچنین پلتفرم حافظه کانتکست CMX انویدیا (تعبیه‌شده در معماری Vera Rubin) به‌وضوح دیده می‌شود. مک‌سونی استدلال می‌کند که حافظه فلش NVMe در مقایسه با ارتقای رم سرور (DRAM)، میزبان بسیار اقتصادی‌تری برای ذخیره این کَش است؛ زیرا در نگهداری کَش KV عملکردی هم‌تراز یا حتی بهتر از DRAM ارائه می‌دهد، مقیاس‌پذیری به‌مراتب بالاتری دارد و هزینه تمام‌شده آن نیز بسیار کمتر است.

او می‌گوید: «شما این اطلاعات را با بیشترین سرعت ممکن از روی حافظه کارت گرافیک خارج می‌کنید تا کاربر دیگری بتواند پردازنده گرافیکی را در اختیار بگیرد، و سپس به‌محض نیاز، داده‌های کاربر اول را مجدداً بارگذاری می‌کنید.»

سرعت این جابه‌جایی تعیین می‌کند که یک پردازنده گرافیکی به چه تعداد کاربر می‌تواند سرویس بدهد. اگر سیستمی بتواند کَش را با سرعت کافی تخلیه و دوباره بارگذاری کند، هر پردازنده گرافیکی می‌تواند به ۴ تا ۵ برابر کاربر بیشتر پاسخ دهد. بدین ترتیب، شرکتی که با کمبود ظرفیت مواجه است، می‌تواند پیش از ثبت سفارش برای خرید پردازنده‌های گرافیکی جدید، کاربران یا ایجنت‌های به‌مراتب بیشتری را روی سرورهای فعلی خود میزبانی کند.

سیستم Augmented Memory Grid شرکت WEKA چگونه کَش KV را میان سرورها به اشتراک می‌گذارد؟

فناوری Augmented Memory Grid شرکت WEKA که بر بستر نرم‌افزار ذخیره‌سازی NeuralMesh اجرا می‌شود، کَش KV را از سرورهای پردازنده گرافیکی جمع‌آوری کرده، آن را به‌صورت متمرکز ذخیره می‌کند و در صورت نیاز روی هر میزبان دیگری در دیتاسنتر بارگذاری می‌نماید. در نتیجه، یک نشست مکالمه می‌تواند روی یک سرور متوقف شود و روی سرور دیگری ادامه یابد، بدون اینکه پردازنده گرافیکی دوم نیازی به محاسبه مجدد تاریخچه آن داشته باشد.

مک‌سونی می‌گوید بارگذاری متمرکز کَش KV در مقایسه با انتقال آن به حافظه DRAM، تعداد کاربران فعال روی همان پردازنده‌های گرافیکی را تا ۷ برابر افزایش داده و حجم خروجی را در همان بازه زمانی از ۲۰۰ هزار توکن به ۲ میلیون توکن رسانده است. با این حال، بهینه‌سازی کَش به‌تنهایی کافی نیست و بخش نرم‌افزاری ماجرا همچنان به قوت خود باقی است.

او در ادامه توضیح می‌دهد: «شما همچنان باید نرم‌افزار، گردش کار و پایپلاین پردازشی خود را تا جای ممکن بهینه کنید.»

اینکه در وهله اول باید وزن‌های مدل را از طریق کوانتیزاسیون و فاین‌تیون (بهینه‌سازی اختصاصی) تقویت کرد یا ساختار و چارچوب پیرامون مدل را بهینه‌سازی نمود، به شرایط هر مشتری بستگی دارد. اما اغلب تیم‌هایی که تجربه عملی کار با مدل‌های زبانی را دارند، یاد گرفته‌اند که چگونه توهم مدل را مهار کنند، اتلاف توان محاسباتی را به حداقل برسانند و صحت نتایج را بسنجند. با این وجود، شکاف دانشی عمیق‌تری در بخش زیرساخت به چشم می‌خورد؛ جایی که بسیاری از مجموعه‌ها هنوز نمی‌دانند سیستم‌های فعلی‌شان چه ظرفیت بالقوه عظیمی برای پاسخ به درخواست‌ها و کاربران بیشتر در دل خود پنهان کرده‌اند.

صرفه‌جویی حاصل از کَش KV به جیب چه کسی می‌رود؛ دارندگان GPU یا خریداران API؟

مک‌سونی معتقد است مسئله اصلی انتخاب میان توسعه زیرساخت اختصاصی یا استفاده از سرویس‌های میزبانی‌شده (ابری) نیست؛ بلکه منفعت واقعی این صرفه‌جویی به کسی می‌رسد که کنترل مستقیم پردازنده گرافیکی را در دست دارد. این مزیت هم شامل شرکتی می‌شود که سخت‌افزار اختصاصی خود را اداره می‌کند و هم شرکتی که نمونه‌های پردازشی خام (GPU Instances) اجاره کرده و نرم‌افزار خود را روی آن به اجرا درمی‌آورد.

او خاطرنشان می‌کند: «اگر هزینه استفاده از مدل‌های پایه را به ازای هر توکن به شرکت ارائه‌دهنده پرداخت می‌کنید، بخش اعظم سود حاصل از هرگونه کَش‌سازی در سمت سرورهای آن‌ها به جیب همان شرکت می‌رود، نه شما.»

با تشدید بحران کمبود پردازنده‌های گرافیکی، اهمیت این محاسبات اقتصادی دوچندان می‌شود. مک‌سونی به پیام اخیر گوگل به مشتریانش اشاره می‌کند؛ هشداری مبنی بر اینکه تمامی پردازنده‌های گرافیکی سفارش‌داده‌شده برای گوگل کلود که هنوز حتی نصب نشده‌اند، برای کل طول عمر مفید کاری خود پیش‌خرید شده‌اند و کاربرانی که ظرفیت مورد نیازشان را تا ماه دسامبر رزرو نکنند، نباید روی منابع شناور و لحظه‌ای حساب باز کنند. سایر ارائه‌دهندگان خدمات ابری نیز که از همین زنجیره تأمین با ظرفیت محدود خرید می‌کنند، با فشار مشابهی روبه‌رو خواهند شد.

مک‌سونی در جمع‌بندی سخنان خود می‌گوید: «شاید راه‌اندازی و مدیریت بخشی از زیرساخت‌های اختصاصی نخستین گزینه‌ای نباشد که به ذهنتان می‌رسد، اما به‌زودی می‌تواند به یک ضرورت اجتناب‌ناپذیر بدل شود.»