رونمایی از Together Compiler؛ راهکار جدید Together AI برای افزایش ۲٫۶ برابری سرعت اجرای مدل‌های هوش مصنوعی
شرکت Together AI از سیستم جدیدی به نام Together Compiler رونمایی کرد که با بهینه‌سازی مداوم پردازش، سرعت استنتاج مدل‌های زبانی را تا ۲٫۶ برابر افزایش می‌دهد. این فناوری با تکیه بر عامل‌های هوشمند و موتورهای پردازشی پایدار، عملکرد مدل‌ها را همگام با تغییرات ترافیکی به‌شکل خودکار ارتقا می‌بخشد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- سیستم Together Compiler با کامپایل و بهینه‌سازی پیوسته در حین پردازش مدل‌ها، نرخ تولید توکن در ثانیه را تا بیش از دو و نیم برابر افزایش می‌دهد.
- استفاده از موتورهای پایدار و بارگذاری بدون وقفه تغییرات، نیاز به راه‌اندازی مجدد سرورها را برطرف کرده و سرعت آزمودن کدهای بهینه‌سازی را تا ۲۵۲ برابر بیشتر می‌کند.
- این فناوری در بستر ابری سرورلس Together AI پیاده‌سازی شده و یک محصول دانلودی یا قابل نصب برای سرورهای اختصاصی شخصی نیست.
مقدمه
سامانه Together Compiler که با نام اختصاری TKCC شناخته می‌شود، سیستم جدید شرکت Together AI برای کامپایل پیوسته فرایند استنتاج است که در تاریخ ۴ نوامبر ۲۰۲۶ معرفی شد. در این سامانه، دسته‌ای از عامل‌های هوشمند تغییرات لازم در کرنل‌ها و مراحل پردازش رو به جلو را پیشنهاد می‌کنند و هم‌زمان یک موتور پایدار گزینه‌های منتخب را بدون توقف بارگذاری مجدد می‌کند؛ بدین ترتیب با تغییر معماری مدل‌ها، الگوهای ترافیکی و تراشه‌ها، عملیات بهینه‌سازی بدون نیاز به راه‌اندازی مجدد و طولانی موتورهایی نظیر vLLM یا SGLang انجام می‌شود.
شرکت Together AI مدعی است که این سیستم در کمتر از ۲۴ ساعت به سرعتی حدود ۲٫۶ برابر بیشتر در تولید توکن بر ثانیه در مقایسه با موتورهای متن‌باز قدرتمند دست پیدا می‌کند. بنچمارک‌های با تأخیر پایین پلتفرم InferenceX نیز اعدادی نظیر ۱۱۱۱ توکن بر ثانیه را برای مدل MiniMax M3.1-Flash و ۱۲۰۵ توکن بر ثانیه را برای DeepSeek v4.1-Flash نشان می‌دهند؛ سیستمی که هم‌اکنون تریلیون‌ها توکن را روی اندپوینت‌های سرورلس مدیریت می‌کند. این زیرساخت به‌عنوان نخستین محصول رسمی از راهکار Polymorphic Inference عرضه شده است.
توضیحات و تحلیل فنی
صورت مسئله
معماری مدل‌های متن‌باز و ویژگی‌های ترافیک شبکه بسیار سریع‌تر از زمان لازم برای نوشتن دستی کرنل‌ها تغییر می‌کنند. علاوه بر این، ابزارهای سنتی مبتنی بر ایجنت برای تیونینگ کدها معمولاً به‌دلیل نیاز مداوم به ری‌استارت موتور متوقف می‌شوند. ساختار موتورهای پایدار در Together Compiler توان عملیاتی اجرای این آزمایش‌ها را به‌شکل چشمگیری ارتقا می‌دهد و طبق آمار Together AI، سرعت آزمایش‌ها را تا حدود ۲۵۲ برابر سریع‌تر می‌کند.
تمایزها و ویژگی‌های کلیدی
این ابزار یک چرخه کامل بهینه‌سازی برای محیط‌های واقعی و عملیاتی روی زیرساخت ابری Together AI است و کامپایلری دانلودی برای سیستم‌های دسکتاپ محسوب نمی‌شود. در مقایسه با روش مگاکرنل‌های ایستا، این ابزار امکان بازکامپایل پیوسته را در شرایط تغییر الگوهای ترافیکی فراهم می‌سازد.
محدودیت‌ها
- بخش عمده آمارها و ارقام اعلام‌شده بر پایه گزارش‌های درون‌سازمانی شرکت توسعه‌دهنده است.
- این سیستم در درجه اول مزیتی اختصاصی برای زیرساخت ابری Together AI محسوب می‌شود و ابزاری مستقل برای میزبانی محلی یا شخصی نیست.
- برای تفکیک دقیق این سامانه از کامپایلرهای کلاسیک مانند LLVM، بهتر است منحصراً از نام کامل Together Compiler استفاده شود.
نحوه استفاده
این ابزار برای چه کسانی کاربرد دارد؟
تیم‌هایی که در حال حاضر از مدل‌های متن‌باز روی پلتفرم Together AI استفاده می‌کنند و بهینه‌سازی سرعت پاسخدهی و کاهش هزینه‌ها در زمان نوسان ترافیک برای آن‌ها اهمیت ویژه‌ای دارد.
مراحل شروع به کار
- مطالعه مطلب رسمی وبلاگ Together Compiler برای شناخت عمیق‌تر سازوکار سیستم.
- بررسی فعال بودن بهینه‌سازی پیوسته روی اندپوینت‌های فعلی در پنل Together AI.
- بازپخش لاگ‌های ترافیک محیط عملیاتی برای سنجش میزان کاهش تأخیر و ارتقای توان خروجی.
مطالب مرتبط و پیشنهادی
معرفی خانواده مدل‌های Axion 1.0؛ رویکرد نوین بایتدنس برای ساخت ایجنت‌های پژوهشی متن‌باز
بایتدنس از خانواده مدل‌های زبانی متن‌باز Axion 1.0 رونمایی کرد که با هدف تسهیل ساخت ایجنت‌های هوشمند پژوهشی توسعه یافته‌اند. این مدل‌ها با تکیه بر ۱۸ هزار نمونه آموزشی باکیفیت و یاد‌گیری تقویتی کارآمد، بدون نیاز به فرایندهای پیچیده به نتایجی درخشان در آزمون‌های علمی دست می‌یابند.
پلتفرم متن‌باز Kinference برای vLLM معرفی شد؛ توزیع هوشمند بار و کاهش ۹۵ درصدی تاخیر مدل‌ها
شرکت Buoyant با همکاری تیم vLLM از ابزار متن‌باز Kinference برای مدیریت زیرساخت استنتاج مدل‌ها روی کوبرنتیز رونمایی کرد. این لایه کنترلی با آگاهی از وضعیت حافظه کش و هدایت هوشمند درخواست‌ها، زمان پاسخدهی اولیه مدل‌ها را تا ۹۵ درصد کاهش می‌دهد و کنترل هزینه‌ها را برای تیم‌های فنی آسان‌تر می‌سازد.
معرفی Baseten Grid؛ ابزار جدید مدیریت دسترسی و کاهش هزینه ایجنت‌های کدنویسی در سازمان‌ها
پلتفرم Baseten از ابزار جدید Baseten Grid رونمایی کرد که به‌عنوان درگاهی متمرکز برای مدیریت، مسیریابی هوشمند و اعمال نظارت بر ایجنت‌های کدنویسی عمل می‌کند. این سامانه با انتقال خودکار درخواست‌های سبک به مدل‌های کم‌هزینه‌تر، توانایی کاهش هزینه‌های پردازشی سازمان تا حدود ۷۰ درصد را فراهم می‌سازد. دسترسی زودهنگام به این سرویس هم‌اکنون از طریق فهرست انتظار آغاز شده است.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.