کیندلینگ با فشرده‌سازی مدل ۷۴۴ میلیاردی GLM-5.3 اجرای آن را روی کلاسترهای محدود ممکن کرد

استارتاپ Kindling AI نسخه پیش‌نویس یک بسته کوانتایز را برای مدل ترکیبی از متخصصان (MoE) با نام GLM-5.3 ساخت شرکت Z.ai که ۷۴۴ میلیارد پارامتر دارد، منتشر کرده است. بسته توسعه‌داده‌شده توسط Kindling AI که glm-5.3-exlr8-k2-k3-k4 نام دارد، از فرمت EXLR8 v2 استفاده می‌کند؛ قالبی که از فرمت EXL3 توسعه‌یافته توسط turboderp اقتباس شده است. این بسته مشخصاً کلاسترهایی از دستگاه‌های رده GB10 انویدیا را هدف قرار داده است و حجم داده‌های مربوط به وزن‌های متخصصان را که هر نود باید هنگام تولید توکن‌ها فراخوانی کند، کاهش می‌دهد.

نودهای رده GB10 مجهز به ۱۲۸ گیگابایت حافظه یکپارچه LPDDR5X با پهنای باندی در حدود ۲۲۰ گیگابایت بر ثانیه هستند. مدل GLM-5.3 هر توکن را تنها از میان زیرمجموعه‌ای از شبکه‌های متخصص خود عبور می‌دهد؛ از همین رو، بارگذاری مداوم وزن‌های منتخب می‌تواند بخش عمده زمان رمزگشایی را به خود اختصاص دهد، به‌ویژه زمانی که اندازه دسته (Batch Size) بیشتر از یک باشد. از آنجا که حتی کوچک‌ترین پیکربندی در بسته EXLR8 داده‌های وزنی بیشتری نسبت به ظرفیت یک نود ۱۲۸ گیگابایتی دارد، بهره‌گیری از موازی‌سازی تانسوری چندنودی نقشی محوری در طراحی این سیستم دارد.

این نسخه آزمایشی هنوز مراحل نهایی را طی نکرده است

صفحه رسمی این پروژه اعلام کرده است که این انتشار صرفاً یک پیش‌نمایش اولیه به شمار می‌رود و چند مرحله اساسی برای تأیید نهایی آن هنوز تکمیل نشده‌اند:

• تکمیل‌شده: فرآیند رمزگذاری کوانتایز توزیع‌شده.
• در حال انجام: جمع‌آوری و یکپارچه‌سازی فایل‌های نهایی بسته.
• در انتظار بررسی: تطابق نتایج در پیکربندی‌های مختلف موازی‌سازی تانسوری، آزمون‌های اعتبارسنجی کیفیت در مقایسه با نسخه پایه BF16 و سنجش دقیق سرعت رمزگشایی.

در حال حاضر این مخزن صرفاً خروجی‌های رمزگذاری‌شده را ارائه کرده است، اما ادعاها درباره کیفیت نهایی و توان پردازشی آن همچنان موقتی تلقی می‌شوند. بررسی تطابق در موازی‌سازی تانسوری مشخص می‌کند که آیا تقسیم مدل روی دستگاه‌های مختلف به خروجی‌های یکدست منجر می‌شود یا خیر. از سوی دیگر، آزمون‌های اعتبارسنجی میزان انحراف از مدل اصلی BF16 را می‌سنجند و بنچمارک‌های رمزگشایی، سرعت تولید توکن را پس از پردازش اولیه پرامپت ارزیابی می‌کنند.

چهار تغییر کلیدی برای بهینه‌سازی پهنای باند

فرمت EXLR8 v2 تکنیک کدگذاری داربستی (Trellis Coding) برگرفته از EXL3 را حفظ کرده است؛ روشی که توالی مشخصی از مقادیر کوانتایزشده را برای به حداقل رساندن خطا جستجو می‌کند. خودِ فرمت EXL3 نیز از ایده‌های پروژه QTIP در دانشگاه کرنل الهام گرفته است. با این حال، کیندلینگ کدک و چیدمان ذخیره‌سازی را به‌طور ویژه برای مدل‌های عظیم MoE بازطراحی کرده است: