اجرای مدل ۱۷۷ میلیاردی Qwen روی مک ۶۴ گیگابایتی؛ ترفند شگفت‌انگیز Atomic Chat با اس‌اس‌دی

چطور مدل ۱۷۷ میلیاردی Qwen با فایل ۸۵ گیگابایتی روی مک ۶۴ گیگابایتی اجرا می‌شود؟

تیم Atomic Chat نسخه‌های کوانتایز شده GGUF از مدل قدرتمند Qwen3.8-Flash-Next را منتشر کرده است؛ نسخه‌ای که با بهره‌گیری از یک جدول جستجوی متکی بر اس‌اس‌دی (SSD-backed lookup table)، فشار روی حافظه رم را به شکل چشمگیری کاهش می‌دهد. بر اساس گزارش‌های این مخزن، نسخه کوانتایز شده ۸۵ گیگابایتی روی مک مجهز به تراشه M5 Max و تنها ۶۴ گیگابایت حافظه یکپارچه (Unified Memory)، به سرعت فوق‌العاده ۳۶ توکن بر ثانیه دست یافته است؛ آن هم در حالی که تمام بخش‌های بینایی ماشین مدل نیز بدون مشکل بارگذاری شده‌اند.

مدل پایه با داشتن ۱۷۷ میلیارد پارامتر، طبق شناسنامه رسمی‌اش در واقع پیش‌نمایشی از معماری هیجان‌انگیز Qwen4 به حساب می‌آید. راز این دستاورد بزرگ در چیدمان نامتعارف پارامترهای آن نهفته است؛ یک جدول ان‌گرم (n-gram) با حجم ۳۹ گیگابایت که برای تولید هر توکن تنها به چند کیلوبایت خواندن داده نیاز دارد. همین ترفند باعث شده تا بتوان این جدول را به‌صورت Memory-map روی حافظه SSD نگه داشت و فضای ارزشمند حافظه یکپارچه را تمام و کمال به تانسورهای سنگین محاسباتی اختصاص داد.

چگونه یک فایل ۸۵ گیگابایتی در ۶۴ گیگابایت رم جا شد؟

این غول ۱۷۷ میلیاردی شامل یک جدول امبدینگ ان‌گرم با ۵۱ میلیارد پارامتر است. برای تولید هر توکن، مدل توالی سه توکن اخیر را هش کرده و ۱۶ سطر که هرکدام شامل ۱۶۰ مقدار هستند را بیرون می‌کشد. این فرآیند جستجو در هر مرحله رفت محاسباتی (Forward pass)، تنها حدود ۲.۷ کیلوبایت داده منطقی را درگیر می‌کند که رقمی فوق‌العاده ناچیز است.

با سرعت تولید ۳۶ توکن در ثانیه، این مقادیر درخواستی پهنای باند بسیار ناچیزی مصرف می‌کنند. از آنجا که صفحات حافظه ذخیره‌سازی از بار مفید داده‌های منطقی بزرگ‌تر هستند، Atomic Chat ترافیک واقعی خواندن تصادفی از حافظه را حدود ۳ مگابایت بر ثانیه تخمین می‌زند. گزارش‌ها نشان می‌دهد زمان دسترسی به حافظه NVMe SSD کم‌تر از ۱۰۰ میکروثانیه است، در حالی که بودجه زمانی تولید هر توکن به حدود ۲۸ میلی‌ثانیه می‌رسد؛ یعنی این فرآیند هیچ افت سرعتی در اجرای مدل ایجاد نمی‌کند.

موفقیت این معماری مدیون یک فرمول هوشمندانه است: نسبت خواندن از این جدول برای هر توکن تقریباً یک پارامتر به ازای هر ۱۳ میلیون پارامتر است! از طرف دیگر، لایه‌های فعال معماری ترکیبی از متخصصان (MoE) حدود ۶ میلیارد پارامتر را فراخوانی کرده و گیگابایت‌ها داده جابه‌جا می‌کنند که مشخصاً به رم پرسرعت و پهنای باند بسیار بالا نیاز دارد. بنابراین، اجرای متکی بر SSD تنها برای بانک جستجوی پراکنده به کار رفته و هسته اصلی و فعال مدل در همان حافظه یکپارچه پرسرعت مک مستقر مانده است.

البته تراشه‌های اپل سیلیکون یک محدودیت حیاتی در ساختار بخش‌بندی پارت‌ها (Shard layout) به همراه دارند. ماجرا از این قرار است که وقتی یک پارت GGUF حاوی تانسورهای پردازنده گرافیکی باشد، کتابخانه llama.cpp کل محدوده حافظه‌نگاشت آن پارت را در اختیار فریم‌ورک Metal قرار می‌دهد. ترکیب کردن جدول ان‌گرم با وزن‌های گرافیکی می‌تواند کل جدول را در حافظه قفل کند و در اولین تلاش برای پردازش توکن، خطای معروف kIOGPUCommandBufferCallbackErrorOutOfMemory رخ دهد. برای پیشگیری از این مشکل، تیم Atomic Chat این جدول را در پارت دوم (Shard 2) کاملاً ایزوله کرده است؛ به همین دلیل به کاربران توصیه می‌شود حتماً چیدمان پیش‌فرض پارت‌ها را دست‌نخورده حفظ کنند.

نگاهی به جزئیات معماری پیش‌نمایش Qwen4