اجرای مدل هوش مصنوعی ۲٫۸ تریلیون پارامتری تنها با پردازنده و حافظه Optane؛ مهار دمای سوزان با فن‌های قدرتمند

یک کاربر خلاق در ردیت موفق شده است مدل هوش مصنوعی ۲٫۸ تریلیون پارامتری Kimi K3 متعلق به استارتاپ Moonshot AI را روی ماژول‌های حافظه توقف‌تولیدشده نسل دوم Optane PMem 200 اجرا کند؛ آن هم تنها با استفاده از یک پردازنده ۴۰ هسته‌ای نسل سوم Xeon Scalable و بدون بهره‌گیری از حتی یک کارت گرافیک. این سیستم حرارت بسیار بالایی تولید می‌کند، تا جایی که سازنده آن تأکید دارد خنک‌سازی فعال ماژول‌های حافظه یک ضرورت مطلق است و خود او برای کنترل دما، دو فن دمنده ۱۲ واتی را مستقیماً به سمت ماژول‌ها هدایت کرده است. این پروژه که ادامه‌ای بر پروژه کاربر دیگری در اوایل سال جاری با نسل اول Optane محسوب می‌شود، حتی با وجود استفاده از کوانتایز ۱ بیتی، به‌سرعت نسبتاً پایین ۰٫۸۵ توکن در ثانیه دست پیدا کرده است.

مدل Kimi K3 به هیچ عنوان برای مصارف خانگی طراحی نشده است؛ استارتاپ Moonshot AI استفاده از موتورهای استنتاج پیشرفته در مراکز داده را برای اجرای آن پیشنهاد می‌کند و حتی سبک‌ترین نسخه کوانتایز‌شده توسط جامعه کاربران نیز به حداقل ۶۱۰ گیگابایت حافظه رم نیاز دارد. در این میان، استفاده از ماژول‌های دست دوم Optane یکی از معدود روش‌هایی است که دستیابی به چنین ظرفیت عظیمی را در یک محیط خانگی ممکن می‌سازد. از سوی دیگر، جهش سرسام‌آور قیمت حافظه‌های DRAM معمولی این راهکار را جذاب‌تر کرده است، چراکه به گفته این سازنده، ماژول‌های Optane تنها با پرداخت کسری از قیمت حافظه‌های استاندارد قابل تهیه هستند.

شرکت اینتل سری حافظه‌های پایدار Optane PMem 200 را در سال ۲۰۲۰ برای پردازنده‌های نسل سوم Xeon Scalable در ظرفیت‌های ۱۲۸، ۲۵۶ و ۵۱۲ گیگابایتی به بازار عرضه کرد. این ماژول‌ها روی پلتفرم‌های دو سوکته Xeon با نرخ انتقال موثر بالاتری نسبت به نسل اول (PMem 100) کار می‌کنند و می‌توانند به‌طور میانگین تا ۳۲ درصد پهنای باند حافظه بیشتری ارائه دهند. ماژول‌های Optane قابلیت فعالیت در دو حالت حافظه (Memory Mode) یا دسترسی مستقیم برنامه (App Direct Mode) را دارند و مادربردهای استفاده‌شده در هر دو پروژه امکان پشتیبانی از هر دو حالت را داشته‌اند.

در حالت حافظه، ماژول‌های Optane نقش حافظه اصلی سیستم را بازی می‌کنند و رم استاندارد (DRAM) به‌عنوان حافظه کَش سریع عمل می‌کند؛ روشی که در اولین پروژه به کار گرفته شده بود. در مقابل، حالت دسترسی مستقیم (App Direct)، حافظه Optane را به‌عنوان فضایی مجزا و پایدار به سیستم معرفی می‌کند تا نرم‌افزار بتواند داده‌ها را مستقیماً روی آن نگاشت کند؛ رویکردی که در پروژه دوم استفاده شد. این شیوه به نرم‌افزار اجازه می‌دهد کنترل بسیار دقیق‌تری بر محل ذخیره‌سازی تانسورهای مدل داشته باشد.

البته استفاده از ماژول‌های Optane به‌جای DRAM استاندارد، افت کارایی محسوسی به‌همراه دارد؛ به طوری که با اعمال کوانتایز دقیق‌تر ۳ بیتی، سرعت استنتاج به ۰٫۷۵ توکن در ثانیه کاهش یافت. برخی کاربران اشاره کرده‌اند که این سرعت بسیار کند است و پردازش درخواستی با ۵۰ هزار توکن حدود ۱۳ ساعت زمان خواهد برد، اما برخی دیگر معتقدند برای پردازش‌های دسته‌ای شبانه که نیازی به پاسخ‌دهی آنی ندارند، سرعت فاکتور تعیین‌کننده‌ای نیست. هر دو نرخ به‌دست‌آمده بسیار پایین‌تر از سرعت تقریبی ۴ توکن در ثانیه در پروژه اول است؛ هرچند در آن پروژه، سازنده بخشی از پردازش مدل کوچک‌تر ۱ تریلیون پارامتری K2.5 را به کمک کارت گرافیک RTX 3060، کوانتایز ۲ بیتی و حالت حافظه انجام داده بود.

چالش دیگر این آزمایش حرارت خروجی بسیار بالا بود، زیرا ماژول‌های Optane در هنگام پردازش‌های مداوم به‌شدت داغ می‌شوند؛ وضعیتی که به گفته این کاربر می‌تواند سلامت ماژول‌های DRAM مجاور را نیز به خطر بیندازد. این میزان حرارت کاملاً با مشخصات رسمی اینتل همخوانی دارد، چراکه این شرکت برای خنک‌سازی این ماژول‌ها جریان هوای اجباری با سرعت ۲٫۴ تا ۲٫۷ متر بر ثانیه را الزامی دانسته است؛ استانداردی که تنها در مراکز داده و سرورهای صنعتی دیده می‌شود و در یک رایانه خانگی معمولاً چنین جریان هوای شدیدی روی ماژول‌های حافظه وجود ندارد.

بر اساس مشخصات کاری، هر ماژول Optane بدون در نظر گرفتن ظرفیت، بین ۱۲ تا ۱۵ وات توان مصرف می‌کند. قرارگیری چهار ماژول در کنار هم به معنای تولید تا ۶۰ وات گرما در مجاورت مستقیم حافظه‌های سیستم است. افت فرکانس حرارتی این قطعات در دمای ۸۳ درجه سانتی‌گراد آغاز می‌شود و در دمای ۸۵ درجه سانتی‌گراد سیستم برای جلوگیری از آسیب خاموش خواهد شد؛ در حالی که حافظه‌های سرور DDR4 معمولاً تا دمای ۸۵ و حتی در شرایط خاص تا ۹۵ درجه را تحمل می‌کنند. بنابراین تخلیه حجم عظیمی از گرما برای پایدار ماندن سیستم حیاتی است.

نکته مهم اینکه اعداد و ارقام اعلام‌شده پیش از بهینه‌سازی نهایی ثبت شده‌اند و تنظیم دقیق تعداد رشته‌های پردازشی (Threads) یا تخصیص حافظه در معماری NUMA هنوز انجام نشده است؛ موضوعی که نشان می‌دهد جای بهبود سرعت همچنان وجود دارد. این کاربر قصد دارد در مراحل بعدی با افزودن کارت‌های گرافیک و بارگذاری بخش‌هایی از مدل درون حافظه سریع‌تر DRAM در کنار ماژول‌های Optane، یک ساختار چندسطحی ایجاد کند و نتایج آزمایش‌های بعدی را به اشتراک بگذارد.