جرج هاتز قیمت کلاستر هوش مصنوعی Exabox را نصف کرد؛ ۵ میلیون دلار با شتاب‌دهنده‌های AMD

استارتاپ Tiny Corp به رهبری جرج هاتز، مشخصات فنی و قیمت کلاستر هوش مصنوعی کانتینری خود موسوم به Exabox را بازنگری کرد. قیمت اعلام‌شده برای این سیستم از حدود ۱۰ میلیون دلار به ۵ میلیون دلار کاهش یافته است و ۲۵۶ شتاب‌دهنده AMD MI300X جایگزین ۷۲۰ پردازنده معرفی‌نشده RDNA5 شده‌اند. زمان تحویل این محصول همچنان برای سه‌ماهه سوم سال ۲۰۲۷ برنامه‌ریزی شده است. بر اساس اطلاعات مندرج در صفحه پیش‌خرید، تنها دو جایگاه برای خریداران باقی مانده که رزرو هر کدام نیازمند پیش‌پرداخت قابل‌استرداد ۱۰۰ هزار دلاری است.

جایگزینی پردازنده‌های آینده با سخت‌افزاری که از اواخر سال ۲۰۲۳ به بازار عرضه شده است، ریسک‌های زنجیره تأمین و ابهامات زمانی تحویل را کاهش می‌دهد. البته این بازنگری قدرت محاسباتی اسمی را کاهش داده، حافظه کل پردازنده‌های گرافیکی را تقریباً دو برابر کرده، مصرف برق موردنیاز را به نصف رسانده و در عین حال، ابهامات فنی تازه‌ای ایجاد کرده است که خریداران پیش از نهایی کردن قرارداد باید به پاسخی شفاف برای آن‌ها برسند.

جایگزینی تراشه‌های MI300X با برنامه قبلی RDNA5

طرح اولیه Tiny Corp شامل ۷۲۰ پردازنده RDNA5 با توان محاسباتی تقریبی یک اگزاافلاپس بود. از آنجا که AMD هنوز این معماری را به بازار عرضه نکرده بود، تمام محاسبات پروژه به قیمت‌گذاری آینده، عملکرد نهایی، میزان مصرف انرژی و در دسترس بودن آن قطعات وابسته بود.

شتاب‌دهنده MI300X شرکت AMD بر پایه معماری CDNA 3 توسعه یافته و هم‌اکنون در دیتاسنترها به کار گرفته می‌شود. بر اساس مشخصات رسمی MI300X، هر شتاب‌دهنده از ۱۹۲ گیگابایت حافظه HBM3 و پهنای باند محلی ۵٫۳ ترابایت بر ثانیه بهره می‌برد. در مجموع ۲۵۶ دستگاه، آمار تئوری به شرح زیر خواهد بود:

• ۴۹٬۱۵۲ گیگابایت (حدود ۴۹٫۲ ترابایت) حافظه HBM3
• ۱٬۳۵۶٫۸ ترابایت بر ثانیه (حدود ۱٫۳۶ پتابایت بر ثانیه) مجموع پهنای باند حافظه محلی
• حدود ۳۳۵ پتافلاپس توان پردازش متراکم ماتریسی در فرمت‌های FP16 یا BF16
• حدود ۶۶۹ پتافلاپس با استفاده از پراکندگی ساختاریافته (Structured Sparsity) یا محاسبات متراکم FP8

تناقض در محاسبات توان پردازشی

شرکت AMD حداکثر توان پردازشی هر تراشه MI300X را برای محاسبات متراکم ماتریسی FP16 یا BF16 حدود ۱٫۳۰۷ پتافلاپس اعلام کرده است. دستیابی به عدد ۲٫۶۱۵ پتافلاپس نیازمند بهره‌گیری از پراکندگی ساختاریافته است؛ قابلیتی که محاسبات روی مقادیر صفر را با چینشی سازگار با سخت‌افزار نادیده می‌گیرد. همین رقم ۲٫۶۱۵ پتافلاپس در محاسبات متراکم با دقت پایین‌تر FP8 نیز حاصل می‌شود. بنابراین، عدد ۶۶۹ پتافلاپس اعلام‌شده توسط Tiny Corp پیش از امکان مقایسه دقیق، نیازمند شفاف‌سازی از نظر میزان دقت و شیوه پراکندگی است.

در صفحه پیش‌خرید ادعا شده است که کلاستر Exabox می‌تواند فرایند آموزش مدلی در مقیاس Kimi (معادل ۳ ضربدر ۱۰ به توان ۲۴ عملیات ممیز شناور) را ظرف حدود ۱۰ هفته و با بهره‌وری محاسباتی ۵۰ درصدی (MFU) به پایان برساند. شاخص MFU سهم پایدار توان عملیاتی واقعی شتاب‌دهنده را پس از کسر بار ارتباطات شبکه و سربارهای دیگر اندازه‌گیری می‌کند. با این حال، ارقام اعلام‌شده محاسبات متفاوتی را نشان می‌دهند:

• با توان متراکم ۳۳۵ پتافلاپس و بهره‌وری ۵۰ درصدی، آموزش این مدل حدود ۲۹٫۶ هفته زمان می‌برد.
• با توان ۶۶۹ پتافلاپس و بهره‌وری ۵۰ درصدی، مدت زمان آموزش به حدود ۱۴٫۸ هفته می‌رسد.
• برای اتمام آموزش در ۱۰ هفته، به حدود ۴۹۶ پتافلاپس توان محاسباتی پایدار نیاز است که با بهره‌وری ۵۰ درصدی، معادل اوج توان اسمی ۹۹۲ پتافلاپس خواهد بود.

تخمین ۱۰ هفته‌ای آموزش بیشتر با طرح اولیه یک اگزاافلاپسی همخوانی دارد تا سیستم فعلی. بنابراین در قراردادهای خرید، لازم است پیش‌فرض‌های مربوط به‌دقت محاسباتی، پراکندگی، نحوه شمارش عملیات و بنچمارک‌های ارزیابی سیستم جدید به روشنی مشخص شوند.

چالش‌های تأمین زیرساخت برای استقرار کانتینر

ایده اصلی Tiny Corp تجمیع تمام زیرساخت‌های پردازش، شبکه، توزیع برق و سرمایش درون یک کانتینر ترابری استاندارد است. در مشخصات جدید آمده که چیلر خنک‌کننده درون سیستم تعبیه شده و کلاستر آماده به کار تحویل داده می‌شود. با این وجود، راه‌اندازی این کانتینر نیازمند بسترسازی فیزیکی مناسب، تأمین برق ۵۰۰ کیلوواتی با ولتاژ ۴۸۰ ولت، اتصال فیبر نوری شبکه، دریافت مجوزهای قانونی و تدوین برنامه عملیاتی مشخص برای تعمیرات و خرابی‌ها است.

مصرف مداوم ۵۰۰ کیلووات برق، سالانه به ۴٫۳۸ گیگاوات‌ساعت انرژی نیاز دارد. هزینه برق مصرفی به‌تنهایی با تعرفه ۱۰ سنت به ازای هر کیلووات‌ساعت حدود ۴۳۸ هزار دلار و با تعرفه ۱۵ سنت حدود ۶۵۷ هزار دلار در سال خواهد بود؛ رقمی که بدون احتساب هزینه‌های دیماند، پرسنل، هزینه‌های مالی، نگهداری و آماده‌سازی محل برآورد شده است. مصرف واقعی به میزان بار کاری سیستم و این موضوع بستگی دارد که ۵۰۰ کیلووات اعلام‌شده توان مصرفی میانگین است یا حداکثر.

یک کانتینر واحد با ۲۵۶ دامنه حافظه مستقل

بر اساس مشخصات اعلام‌شده، این سیستم از اتصال حداقل ۴۰۰ گیگابیت بر ثانیه بهره‌مند است و می‌تواند مدل‌ها را به‌صورت یکپارچه آموزش دهد؛ اما مشخص نیست این پهنای باند به ازای هر شتاب‌دهنده، هاست، سوییچ یا آپلینک شبکه لحاظ شده است. یک اتصال ۴۰۰ گیگابیت بر ثانیه‌ای پیش از کسر سربار پروتکل‌ها، ۵۰ گیگابایت بر ثانیه داده منتقل می‌کند که بیش از ۱۰۰ برابر کمتر از پهنای باند حافظه محلی HBM یک تراشه MI300X است. چنین اختلافی در کلاسترها امری عادی است و همین موضوع، اهمیت توپولوژی شبکه، ترافیک مشترک، کارایی ارتباطات گروهی و نحوه بخش‌بندی مدل (Model Sharding) را برای دستیابی به توان واقعی دوچندان می‌کند.

حافظه ۴۹٫۲ ترابایتی و پهنای باند ۱٫۳۶ پتابایت بر ثانیه‌ای، مجموع ظرفیت تمام شتاب‌دهنده‌ها هستند. هر تراشه MI300X به حافظه ۱۹۲ گیگابایتی اختصاصی خود با سرعت HBM دسترسی دارد، در حالی که تبادل داده بین پردازنده‌ها از طریق شبکه ارتباطی انجام می‌شود. مدل‌های بزرگ می‌توانند در سراسر کلاستر توزیع شوند، اما نباید تصور کرد این حجم عظیم حافظه مانند یک استخر حافظه فیزیکی یکپارچه عمل می‌کند.

از دیدگاه نرم‌افزاری، پشتیبانی بدون دردسر از فریمورک‌های tinygrad و PyTorch وعده داده شده است. هم‌چنین استارتاپ Tiny Corp در زمینه توسعه درایورهای متن‌باز برای سخت‌افزارهای AMD سرمایه‌گذاری کرده است. انتخاب MI300X به‌عنوان استاندارد این کلاستر، هدف روشنی برای توسعه نرم‌افزاری ایجاد می‌کند و مسیر جاافتاده‌ای برای اجرای PyTorch از طریق ROCm فراهم می‌آورد. با این حال، آمادگی سیستم برای محیط‌های عملیاتی به نسخه‌های دقیق فریمورک‌ها، پشتیبانی از کتابخانه RCCL، سامانه‌های ارکستریشن، ذخیره چک‌پوینت‌ها، مانیتورینگ، بازیابی پس از خرابی و سیاست‌های ارتقای سیستمی وابسته خواهد بود.

صرفه اقتصادی خرید در برابر اجاره ابری

با قیمت ۵ میلیون دلار، بهای تمام‌شده این سیستم به ازای هر شتاب‌دهنده حدود ۱۹٬۵۰۰ دلار و به ازای هر گیگابایت حافظه HBM حدود ۱۰۲ دلار تمام می‌شود. این ارقام نه‌تنها پردازنده‌ها، بلکه هزینه کانتینر، سرورهای هاست، شبکه ارتباطی، توزیع برق و تجهیزات خنک‌کننده را نیز پوشش می‌دهند.

بر اساس نرخ‌های عمومی اجاره ابری، هزینه استفاده از شتاب‌دهنده MI300X حدود ۲٫۷۳ دلار در ساعت به ازای هر پردازنده است و در قراردادهای بلندمدت به رقمی نزدیک به ۲ دلار کاهش می‌یابد. اجاره مداوم ۲۵۶ پردازنده با نرخ ۲٫۷۳ دلار سالانه حدود ۶٫۱ میلیون دلار و با نرخ ۲ دلار حدود ۴٫۵ میلیون دلار هزینه در پی دارد. البته تأمین این حجم پردازنده به‌صورت یکجا در فضای ابری همیشه ممکن نیست؛ از سوی دیگر، در محاسبه مالکیت باید هزینه‌های برق، نیروی متخصص، نگهداری، تأمین مالی، زمان خاموشی و هزینه بیکار ماندن سخت‌افزار را نیز لحاظ کرد. خرید این سیستم بیش از همه برای سازمان‌هایی توجیه اقتصادی دارد که بار پردازشی مداوم، زیرساخت فیزیکی مناسب و الزامات سخت‌گیرانه برای محرمانگی داده‌ها دارند.

بندهای حقوقی و فنی لازم‌الاجرا در قرارداد خرید

پیش‌پرداخت ۱۰۰ هزار دلاری قابل‌استرداد، جایگاه مشتری را در فهرست تحویلی ثبت می‌کند که بیش از یک سال دیگر موعد آن فرا می‌رسد. با این حال خریداران پیش از تبدیل این رزرو به قرارداد قطعی، نیازمند توافق شفاف مکتوب درباره این موارد هستند:

• قیمت نهایی، مراحل پرداخت، هزینه‌های حمل‌ونقل، مالیات، نصب و شرایط بازپرداخت وجه
• حقوق جایگزینی پردازنده‌ها، تضمین تأمین قطعات و جبران خسارت ناشی از تأخیر در تحویل
• تعداد پردازنده‌های مرکزی (CPU) هاست، رم سیستم، فضای ذخیره‌سازی محلی و ظرفیت ذخیره چک‌پوینت‌ها
• توپولوژی شبکه، پهنای باند هر اتصال، نرخ ترافیک مشترک و افزونگی سوییچ‌ها
• عملکرد واقعی در عملیات All-Reduce و نتایج بنچمارک‌های جامع آموزش مدل
• دقت محاسباتی پشتیبانی‌شده، پیش‌فرض‌های پراکندگی و نحوه سنجش شاخص MFU
• نسخه‌های دقیق فریمورک‌های PyTorch و tinygrad، درایورها، پلتفرم ROCm و کتابخانه‌های ارتباطی
• پوشش گارانتی، تأمین قطعات یدکی، پشتیبانی از راه دور و زمان‌بندی تعویض قطعات معیوب
• الزامات فنی سایت استقرار، آزمون‌های پذیرش نهایی و تضمین‌های عملکردی سیستم

بر اساس مشخصات منتشرشده، این بازنگری هزینه ورود به پروژه را کاهش داده، ریسک زمانی تولید تراشه را مهار کرده، حافظه HBM کل را افزایش داده و توان مصرفی اعلام‌شده را کم کرده است. با این حال، توان محاسباتی اسمی افت پیدا کرده و تخمین زمان آموزش مدل‌ها همچنان با ابهاماتی همراه است. کلاستر Exabox پروژه‌ای در مرحله پیش‌خرید برای سه‌ماهه سوم سال ۲۰۲۷ محسوب می‌شود که عملکرد توزیع‌یافته، مدل پشتیبانی و هزینه واقعی مالکیت آن نیازمند بررسی دقیق فنی و توافقات قراردادی شفاف است.