شاهکار جامعه MLX: اجرای محلی مدل چندوجهی Qwen3.8-27B علی‌بابا روی مک‌های ۲۴ گیگابایتی ممکن شد

انتشار بیلد ۴ بیتی MLX مدل Qwen3.8-27B برای مک‌های اپل سیلیکون

جامعه توسعه‌دهندگان mlx-community نسخه ۴ بیتی جدیدی از مدل قدرتمند Qwen3.8-27B علی‌بابا را عرضه کردند؛ یک مدل چندوجهی متراکم (Dense) که به‌راحتی متن، تصویر و ویدیو را پردازش می‌کند. آمار مخزن اختصاصی MLX این مدل در پلتفرم هاگینگ فیس نشان می‌دهد که تعداد دانلودهای آن از مرز ۸۰۰ هزار بار عبور کرده است؛ هرچند این آمار شامل دانلودهای خودکار اسکریپت‌ها هم می‌شود و لزوماً نمایانگر تعداد کاربران یکتا نیست، اما استقبال گسترده از آن را نشان می‌دهد.

این نسخه بهینه‌شده، یک راهکار کاملاً کاربردی را پیش روی توسعه‌دهندگان اکوسیستم اپل سیلیکون می‌گذارد تا مدل‌های چندوجهی را به‌صورت محلی (Local) روی سیستم خود اجرا کنند. این مدل برای پرامپت‌ها و درخواست‌های متنی کوتاه، حتی درون ۲۴ گیگابایت حافظه یکپارچه (Unified Memory) نیز جا می‌شود؛ با این حال، یک سیستم ۳۲ گیگابایتی فضای بسیار مطمئن‌تری برای سیستم‌عامل، پردازش تصاویر ورودی، توکن‌های خروجی و کش کانتکست فراهم می‌کند.

یک چک‌پوینت همه‌فن‌حریف با سه ورودی متن، تصویر و ویدیو

تیم Qwen مدل پایه را یک مدل متراکم ۲۷ میلیارد پارامتری توصیف می‌کند؛ به این معنا که بر خلاف مدل‌های MoE، در پردازش هر توکن تمام شبکه عصبی فعال است و کار به زیرمجموعه‌ای از کارشناس‌ها واگذار نمی‌شود. معماری این مدل، بلوک‌های توجه خطی (Linear Attention) را با لایه‌های متناوب توجه کامل (Full Attention) ترکیب کرده تا تعادل کم‌نظیری میان کارایی در کانتکست‌های طولانی و دقت توجه سنتی توکن‌به‌توکن برقرار سازد.

• عمق لایه‌ها: ۶۴ لایه ترنسفورمر.
• مکانیزم توجه (Attention): مجهز به ۲۴ هد کوئری (Query Head) و ۴ هد کلید-مقدار (Key-Value Head) در مسیر توجه کامل، همراه با تکنیک Grouped-Query Attention برای بهینه‌سازی حافظه کش.
• پنجره کانتکست: ۲۶۲ هزار توکن به‌صورت بومی (Native)، همراه با پشتیبانی از کانتکست‌های فراتر از یک میلیون توکن به کمک مقیاس‌پذیری YaRN.
• دایره واژگان: تقریباً ۲۴۸ هزار توکن.
• انواع ورودی: متن، عکس و ویدیو از طریق یک انکودر بینایی متصل به مدل.
• تولید محتوا: دارای هد اختصاصی پیش‌بینی چندتوکنی (Multi-Token Prediction)، هرچند بهره‌مندی از سرعت بیش‌تر رمزگشایی به پشتیبانی ابزار زمان اجرا بستگی دارد.

البته باید توجه داشت که سقف اعلام‌شده برای کانتکست صرفاً ظرفیت تئوری این معماری را بیان می‌کند، نه وعده‌ای مبنی بر اینکه کل این پنجره بزرگ به‌راحتی روی یک لپ‌تاپ لود می‌شود! کش کلید-مقدار (KV Cache)، توکن‌های تصویری، فریم‌های ویدیویی و پاسخ‌های تولیدی همگی بخشی از حافظه رم یکپارچه را پر می‌کنند؛ بنابراین طول کانتکست قابل استفاده در دنیای واقعی، کاملاً به توان سخت‌افزاری دستگاه و نوع پردازش شما بستگی خواهد داشت.

کوآنتایزیشن؛ ترفندی که معادلات حافظه رم را دگرگون کرد

تکنیک کوآنتایزیشن آفین (Affine Quantization) در فریم‌ورک MLX، گروه‌هایی از وزن‌ها را با دقت پایین‌تر در کنار متادیتای مقیاس‌بندی ذخیره می‌کند. این تبدیل ۴ بیتی (با اندازه گروه ۶۴)، حجم چک‌پوینت اولیه BF16 را از حدود ۵۵.۶ گیگابایت به حدود ۱۶ گیگابایت کاهش می‌دهد. بر اساس گزارش‌ها، میزان مصرف حافظه رم در زمان اجرا به حدود ۱۶ تا ۱۹ گیگابایت می‌رسد؛ البته پیش از آنکه ورودی‌های سنگین تصویری یا کانتکست‌های طولانی فشار مضاعفی بر حافظه وارد کنند.