فشرده‌سازی شگفت‌انگیز غول ۷۵۳ میلیارد پارامتری GLM-5.3: کاهش حجم به ۲۷۳ گیگابایت برای اجرا روی ورک‌استیشن‌ها!

کاهش وزن‌های مدل ۷۵۳ میلیاردی GLM-5.3 به ۲۷۳ گیگابایت

توسعه‌دهنده‌ای با نام اینفاتوشی (Infatoshi) به‌تازگی یک نسخه مبتنی بر EXL3 از مدل GLM-5.3 منتشر کرده که به طور میانگین ۳.۰۴ بیت به ازای هر وزن (bpw) فضا می‌گیرد و کل حجم آن فقط ۲۷۳ گیگابایت (GiB) است. این فشرده‌سازی چشمگیر باعث می‌شود اجرای این مدل ۷۵۳ میلیارد پارامتری مبتنی بر معماری ترکیب کارشناسان (MoE)، روی ورک‌استیشن‌های رده‌بالا با چند کارت گرافیک کاملاً عملی و شدنی باشد؛ هرچند اجرای آن هنوز فرسنگ‌ها فراتر از توان یک کارت گرافیک معمولی مصرف‌کننده است.

این خروجی در واقع حاصل کوانتایز کردن نسخه GLM-5.3-UNCENSORED-FP8 از تیم dealignai است؛ نسخه‌ای که خودش بر پایه مدل اصلی GLM-5.3 از مجموعه zai-org دستکاری وزنی شده و بدون محدودیت‌های مرسوم عمل می‌کند. بنابراین توسعه‌دهندگانی که قصد تست و ارزیابی آن را دارند باید هر دو تغییر را در نظر بگیرند: مدل پایه رفتار ریجکت پاسخ‌ها (refusal) را تغییر داده و تبدیل به EXL3 هم دقت محاسبات عددی را برای کاهش حجم پایین آورده است.

فشرده‌سازی هوشمند با دقت ترکیبی (Mixed-Precision)

مدل‌های مبتنی بر معماری «ترکیب کارشناسان» (Mixture-of-Experts یا MoE)، تعداد زیادی شبکه پیش‌خور تخصصی را در حافظه نگه می‌دارند اما برای پردازش هر توکن تنها بخش کوچکی از آن‌ها را فعال می‌کنند. مدل GLM-5.3 به ازای هر توکن، ۸ کارشناس از بین ۲۵۶ کارشناس مسیریابی‌شده را به همراه یک کارشناس مشترک فعال می‌کند؛ این رویکرد بار محاسباتی فعال را به شدت کاهش می‌دهد، هرچند برای اجرای بدون دردسر، تمام کارشناس‌ها باید کماکان در حافظه رم گرافیک حاضر باشند.

ابزار کوانتایزر در این پروژه هوشمندی به خرج داده و به بخش‌هایی که نسبت به فشرده‌سازی حساس‌ترند بیت‌های بیشتری اختصاص داده است، در حالی که کارشناس‌های مسیریابی‌شده (که بخش اعظم حجم غول‌پیکر مدل را تشکیل می‌دهند) با بیت‌های کمتری فشرده شده‌اند تا حجم کلی به شدت افت کند.