موتور Splash شرکت Inco AI مدل Qwen3.8-27B را دو برابر سریع‌تر روی تراشه‌های Apple Silicon اجرا می‌کند

موتور Splash استنتاج محلی مدل‌های زبانی را برای Apple Silicon بهینه‌سازی می‌کند

شرکت Inco AI سرور متن‌باز Splash را با لایسنس Apache-2.0 منتشر کرده است. این ابزار به کاربران اجازه می‌دهد مدل‌های زبانی بزرگ و منتخب را به صورت محلی روی سیستم‌های Mac جدید اجرا کنند و از API-های آشنای HTTP بهره ببرند. هر مدل پشتیبانی‌شده با وزن‌های ۴ بیتی، یک مدل پیش‌نویس (draft model) سازگار، کرنل‌های Metal اختصاصی و یک برنامه حافظه ثابت ارائه می‌شود. در تست‌های انجام‌شده روی یک سیستم مجهز به تراشه M5 Pro با ۴۸ گیگابایت حافظه یکپارچه، مدل Qwen3.8-27B توانست برای پرامپت‌های کوتاه ۷۴ توکن بر ثانیه تولید کند. این رقم در مقایسه با سرعت ۳۸ توکن بر ثانیه در oMLX بسیار چشمگیر است و در پردازش چهار درخواست همزمان، به توان عملیاتی تقریباً چهار برابری نسبت به oMLX دست یافته است.

ایجنت‌های کدنویسی به طور مداوم تاریخچه‌های طولانی مکالمات را ارسال می‌کنند، از کانتکست‌های مخازن کد مجدداً استفاده می‌کنند و کارها را بین ساب-ایجنت‌ها تقسیم می‌کنند. موتور Splash با بهره‌گیری از قابلیت کش‌سازی پیشوند (prefix caching) و زمان‌بندی همزمان درخواست‌ها، دقیقاً این الگوها را هدف قرار داده و زمان مورد نیاز برای پردازش مجدد ورودی‌های مشترک را به شدت کاهش می‌دهد.

نصب سریع از Homebrew تا لوکال‌هاست

• تراشه: Apple M3 یا جدیدتر
• سیستم‌عامل: macOS 26.4 یا نسخه‌های بالاتر
• حافظه: حداقل ۳۶ گیگابایت حافظه یکپارچه (۴۸ گیگابایت یا بیشتر توصیه می‌شود)
• مدیریت بسته‌ها: Homebrew

brew install incoai/tap/splash
splash serve --model incoai/Qwen3.8-27B-Splash

با اولین اجرای دستور serve، بسته ۱۷.۴ گیگابایتی مدل دانلود شده و پس از اعتبارسنجی و بررسی حافظه در دسترس، سرور راه‌اندازی می‌شود. این سرویس به طور پیش‌فرض روی آدرس 127.0.0.1:8000 تنظیم می‌شود تا ارتباطات کاملاً روی ماشین محلی باقی بماند.

مسیر راه‌اندازی سریع به هیچ فایل پیکربندی نیاز ندارد. همچنین، کلاینت‌های کمکی این ابزار شامل مواردی نظیر splash opencode، splash claude، splash codex و splash hermes هستند.

پیشتازی در بنچمارک‌ها

شرکت Inco در ارزیابی‌های خود، موتور Splash را با ابزارهای oMLX، Lily، uzu و Ollama روی سیستم مشابه با تراشه M5 Pro و ۴۸ گیگابایت حافظه مقایسه کرده است. این تست با استفاده از پرامپت‌های کدنویسی ابزار بنچمارک SPEED-Bench شرکت NVIDIA انجام شده و خروجی تولیدی روی ۱۰۲۴ توکن محدود شده بود.