ورک‌استیشن ۳۰ هزار دلاری Tiny Corp با ۱۶ درایو SSD معرفی شد؛ اجرای مدل‌های غول‌پیکر هوش مصنوعی روی میز کار

• سیستم ۳۰ هزار دلاری tinybox Red Kimi از شرکت Tiny Corp، چهار پردازنده گرافیکی Radeon AI Pro R9700 با ۱۲۸ گیگابایت حافظه GDDR6 را با ۱۶ درایو یک ترابایتی NVMe SSD ترکیب می‌کند.
• یک درایور اختصاصی در نرم‌افزار tinygrad به کارت‌های گرافیک اجازه می‌دهد مستقیماً از آرایه SSD با پهنای باند ۲۳۸٫۴ گیگابایت بر ثانیه داده‌ها را بخوانند تا مدل ۲٫۸ تریلیون پارامتری Kimi K3 توسعه‌یافته توسط استارتاپ Moonshot اجرا شود.
• شرکت سازنده ادعای سرعت ۴۰ توکن بر ثانیه را دارد؛ اما محاسبات ریاضی نشان می‌دهد که دستیابی به این رقم نیازمند کش شدن تقریباً تمام وزن‌های هر توکن درون حافظه ویدیویی گرافیک است.

---

در جدیدترین محصول Tiny Corp به نام tinybox Red Kimi هیچ نشانی از کلمه «کوچک» دیده نمی‌شود؛ این غول سخت‌افزاری ۳۰ هزار دلار قیمت دارد و چهار کارت گرافیک AMD Radeon AI Pro R9700 را در کنار ۱۶ درایو یک ترابایتی NVMe SSD قرار داده است. تمام این پیکربندی تنها با یک هدف شکل گرفته است: اجرای مدل زبانی ۲٫۸ تریلیون پارامتری Kimi K3 متعلق به استارتاپ Moonshot AI به‌صورت محلی و روی یک میز کار، به‌جای اتکا به مراکز داده عظیم ابری.

هر یک از کارت‌های گرافیک R9700 به ۳۲ گیگابایت حافظه GDDR6 با پهنای باند ۶۴۰ گیگابایت بر ثانیه مجهز است که در مجموع، ۱۲۸ گیگابایت حافظه گرافیکی و پهنای باند کلی ۲٬۵۶۰ گیگابایت بر ثانیه را در اختیار سیستم می‌گذارد. این مجموعه بر پایه پلتفرم G5 شرکت Tiny Corp توسعه یافته است و از یک پردازنده ۳۲ هسته‌ای AMD Epyc Genoa (که مدل دقیق آن در بخش پیکربندی tinybox ذکر نشده است) و حافظه رم سیستمی نه‌چندان حجیم ۳۲ گیگابایتی از نوع DDR5 بهره می‌برد.

استارتاپ Tiny Corp مدعی است که این سیستم می‌تواند مدل Kimi K3 را با سرعت ۴۰ توکن بر ثانیه اجرا کند؛ رکوردی که تاکنون هیچ کارشناس یا مرجع مستقلی خارج از این شرکت صحت آن را مورد ارزیابی قرار نداده است.

حکمرانی ۱۶ درایو حافظه، چهار پردازنده گرافیکی و تراشه قدرتمند AMD EPYC

بخش ذخیره‌سازی، برگ برنده و ویژگی تمایزبخش این سیستم غول‌پیکر به‌شمار می‌رود. ۱۶ درایو به کار رفته در آن یک آرایه رید (RAID) با پهنای باند فوق‌العاده ۲۳۸٫۴ گیگابایت بر ثانیه را تشکیل می‌دهند. به گفته Tiny Corp، کتابخانه نرم‌افزاری tinygrad اکنون شامل درایوری ویژه است که به پردازنده‌های گرافیکی AMD امکان می‌دهد درایوهای NVMe را مستقیماً کنترل کنند، بدون آنکه نیاز باشد هر عملیات خواندن داده از طریق پردازنده مرکزی (CPU) هدایت شود.

این شرکت با انتشار نمودار معماری سیستم در شبکه اجتماعی ایکس، محصول خود را پاسخی برای «دسترسی خانگی به پیشرفته‌ترین مدل‌های هوش مصنوعی با سرعتی کاربردی و قیمتی مناسب» توصیف کرد.

منطق فنی پشت این طراحی به موضوع گنجایش و ظرفیت حافظه بازمی‌گردد. شناسنامه رسمی مدل Moonshot نشان می‌دهد که وزن‌های Kimi K3 با فرمت بومی MXFP4 عرضه شده‌اند و ارزیابی‌های پلتفرم ابری Hyperstack نیز حجم فایل مدل منتشرشده را در حدود ۱٫۵۶ ترابایت تخمین می‌زند. از آنجا که چهار کارت گرافیک این سیستم تنها می‌توانند حدود ۸ درصد از این حجم را در خود جای دهند، مابقی داده‌ها باید در فضایی دیگر ذخیره شوند؛ به همین دلیل Tiny Corp حافظه‌های فلش SSD را که بسیار ارزان‌تر از DRAM هستند، برای میزبانی این وزن‌ها انتخاب کرده است.

این رویکرد کاملاً بی‌سابقه نیست؛ پژوهشگران انویدیا و دانشگاه ایلینوی در همایش ASPLOS 2023 با معرفی معماری سیستمی BaM، دسترسی مستقیم پردازنده گرافیکی به درایوهای SSD را مطرح کردند و فضای ذخیره‌سازی را به‌عنوان لایه دیگری از حافظه شتاب‌دهنده در نظر گرفتند. با این حال، ابتکار Tiny Corp نخستین نمونه کاربردی و آماده سفارش است که این فناوری را روی کارت‌های گرافیک ورک‌استیشن AMD پیاده‌سازی کرده است.

کدهای موجود در ابزار پیکربندی این سیستم وزن نهایی Red Kimi را حدود ۲۵ کیلوگرم (۵۶ پوند) برآورد می‌کنند که درون کیس و شاسی با ابعاد ۳۰ سانتی‌متر عرض، ۴۹ سانتی‌متر ارتفاع و ۴۶ سانتی‌متر عمق جا گرفته است. هم‌چنین سطح نویز صوتی دستگاه برای مدل‌های مجهز به R9700 از کمتر از ۵۰ دسی‌بل به کمتر از ۶۰ دسی‌بل افزایش یافته و هشدار داده شده است که صدای فن‌های دمنده کارت‌های گرافیک کاملاً به گوش می‌رسد.

مدل Kimi K3 از معماری ترکیبی از متخصصان (MoE) بهره می‌برد که در هر گام، ۱۶ متخصص از میان ۸۹۶ متخصص هدایت‌شده را به‌همراه دو متخصص مشترک فعال می‌کند؛ این فرآیند به فعال‌سازی ۱۰۴ میلیارد پارامتر برای پردازش هر توکن منجر می‌شود. با در نظر گرفتن نرخ موثر ۴٫۲۵ بیت به ازای هر وزن در قالب MXFP4، پردازش هر توکن تولیدشده به خواندن حداقل ۵۵ گیگابایت وزن نیاز دارد.

اگر قرار بود تمام این بایت‌ها مستقیماً از حافظه‌های SSD خوانده شوند، این آرایه در بهترین حالت سرعتی معادل چهار توکن بر ثانیه ارائه می‌داد. در نتیجه، دستیابی به‌سرعت ادعاشده ۴۰ توکن بر ثانیه مستلزم جابه‌جایی حدود ۲٫۲ ترابایت داده در ثانیه است؛ مقداری که معادل ۸۶ درصد از کل پهنای باند ترکیبی حافظه چهار کارت گرافیک است. در این حالت درایوهای SSD حداکثر می‌توانند حدود ۶ گیگابایت داده به ازای هر توکن تأمین کنند که تنها ۱۱ درصد از نیاز پردازشی را پوشش می‌دهد.

به بیان ساده، ادعای سازنده تنها در صورتی با عقل جور درمی‌آید که حافظه ۱۲۸ گیگابایتی کارت‌های گرافیک از قبل بخش عمده وزن‌های مورد استفاده هر توکن را در خود ذخیره کرده باشد، هرچند که این میزان حافظه کمتر از یک‌دهم کل حجم مدل است. چنین سناریویی در صورتی امکان‌پذیر خواهد بود که انتخاب شبکه‌های متخصص به اندازه کافی قابل پیش‌بینی باشد تا به درستی در حافظه موقت کش شوند، یا اینکه Tiny Corp از روش‌های کوانتیزاسیون با دقت پایین‌تر نسبت به نسخه بومی Moonshot، رمزگشایی گمانه‌زن (Speculative Decoding) یا ترکیبی از این راهکارها کمک گرفته باشد.

استارتاپ Tiny Corp هنوز جزییاتی درباره میزان دقت عددی، طول بافت (Context Length)، اندازه بسته (Batch Size) یا روش فنی به کار رفته برای دستیابی به این رقم منتشر نکرده است؛ بنابراین منطقی است که این ادعا را فعلاً در حد یک وعده تبلیغاتی در نظر بگیریم. افزون بر این، محاسبه پهنای باند کلی بر این فرض استوار است که حجم کاری پردازش به‌طور کاملاً مساوی بین چهار کارت گرافیک متصل به رابط PCIe توزیع شده باشد.

برچسب قیمتی سرسام‌آور در رقابت شانه به شانه با Mac Studio اپل

هرچند رقم ۳۰ هزار دلار برای یک کامپیوتر رومیزی بسیار گزاف به نظر می‌رسد، اما گزینه‌های جایگزین برای اجرای محلی یک مدل ۲٫۸ تریلیون پارامتری چندان ارزان‌تر تمام نمی‌شوند. کامپیوتر Mac Studio اپل مجهز به تراشه M5 Ultra و ۵۱۲ گیگابایت حافظه یکپارچه با قیمت پایه ۲۲٬۲۹۹ دلار عرضه می‌شود و با افزودن ۱۶ ترابایت حافظه SSD، طبق گزارش‌ها قیمت آن به ۲۹٬۷۹۹ دلار می‌رسد که تنها ۲۰۱ دلار از سیستم Tiny ارزان‌تر است. این دستگاه به گفته اپل، چهار برابر حافظه پرسرعت‌تر با پهنای باند ۱٫۲ ترابایت بر ثانیه ارائه می‌دهد؛ با این حال ۵۱۲ گیگابایت حافظه رم هنوز برای میزبانی نسخه کامل مدل K3 کافی نیست.

در سوی دیگر، سیستم ورک‌استیشن DGX Station انویدیا مبتنی بر معماری GB300 با ۷۴۸ گیگابایت حافظه و برچسب قیمتی نزدیک به ۹۱٬۱۰۰ دلار به بازار آمده است که آن هم ظرفیت کافی برای این مدل غول‌پیکر را ندارد. پلتفرم Threadripper Halo Station از AMD با حداکثر ۲٫۶ ترابایت حافظه ترکیبی می‌تواند این مدل را به‌راحتی در خود جای دهد، اما این محصول تا سال ۲۰۲۷ عرضه نخواهد شد و برآوردهای فعالان صنعت نشان می‌دهد که هزینه کامل آن حدود ۱۵۰ هزار دلار خواهد بود.

در میان رقبای انگشت‌شمار و بسیار گران‌قیمت بازار، سیستم Red Kimi در حال حاضر ارزان‌ترین شیوه برای حفظ دقت بومی مدل Kimi K3 روی یک میز کار منفرد محسوب می‌شود. چالش اصلی اینجاست که چنین دستاوردی با واگذاری وظایف حافظه اصلی رم به حافظه‌های ذخیره‌سازی فلش به دست آمده است و سرعت تولید توکن‌ها کاملاً به کارآمدی این رویکرد بستگی دارد. تا زمانی که مراجع مستقل خارج از شرکت Tiny Corp عملکرد این سیستم را محک نزنند، وعده «سرعت کاربردی» بیشتر یک ادعای آزموده‌نشده باقی خواهد ماند تا یک نتیجه اثبات‌شده.