پلتفرم متن‌باز Kinference برای vLLM معرفی شد؛ توزیع هوشمند بار و کاهش ۹۵ درصدی تاخیر مدل‌ها

معرفی

پروژه Kinference (با تلفظ کی-اینفرنس) یک لایه کنترلی متن‌باز برای استنتاج مدل‌های هوش مصنوعی است که توسط شرکت Buoyant (سازنده مش سرویس معروف Linkerd) توسعه یافته و به‌طور رسمی در وبلاگ vLLM معرفی شده است. سورسکد این پروژه در گیتهاب با شناسه Kinference-AI/kinference در دسترس همگان قرار دارد.

هدف Kinference ایفای نقش همان حلقه مفقودهای است که برای ساخت یک پلتفرم استنتاج مقیاسپذیر مبتنی بر vLLM و کوبرنتیز (Kubernetes) به آن نیاز دارید. کافی است کلاینت‌های سازگار با OpenAI یا Anthropic را به اندپوینت HTTP این پلتفرم متصل کنید تا مدیریت مواردی چون محدودسازی نرخ توکن‌ها، رهگیری میزان مصرف و هزینه‌ها به تفکیک کاربران، توازن بار هوشمند و اعمال سیاست‌های استنتاج را بهدست گیرد، در حالی که پردازش و تولید متن نهایی همچنان توسط موتور قدرتمند vLLM انجام می‌شود.

بررسی و تشریح

این ابزار چه مشکلی را حل می‌کند؟

تیم‌هایی که مدل‌های متن‌باز و وزندهیشده را روی سرورهای اختصاصی خود میزبانی می‌کنند، همواره با چالش مدیریت مدل‌های گوناگون، خوشه‌هایی از پردازنده‌های گرافیکی ناهمگن و مشتریان یا تیم‌های کاری متعدد روبهرو هستند. سیستم توزیع بار پیش‌فرض در سرویس‌های کوبرنتیز ماهیت مدل‌های زبانی بزرگ را درک نمی‌کند؛ موضوعی که به هدر رفتن حافظه موقت (KV Cache) و دشوار شدن کنترل هزینه‌ها می‌انجامد.

ویژگی‌های کلیدی

• توزیع بار آگاه از حافظه موقت (KV-Cache-Aware Load Balancing): این سامانه با تحلیل صف پردازنده‌های گرافیکی، تاریخچه عملکرد و محتوای کش KV، هر درخواست را دقیقاً به ورکر vLLM هدایت می‌کند که کمترین بار پردازشی را برای پاسخدهی متحمل خواهد شد.
• سیاست‌های هوشمند استنتاج: برای نمونه، سیستم می‌تواند درخواست‌های ساده‌تر را در صورتی که بر اساس وضعیت کش بهینگی بیشتری داشته باشد، به مدلی ارزان‌تر و سبکتر ارسال کند.
• حاکمیت و مدیریت سازمانی: اعمال محدودیت نرخ مصرف توکن‌ها، ثبت و تفکیک هزینه و مصرف هر کاربر، همراه با سنجش دقیق شاخص‌های عملکردی و اهداف سطح سرویس (SLO).

بنچمارک‌های رسمی

• در مقایسه با سیستم توزیع بار پیش‌فرض کوبرنتیز: کاهش ۹۵ درصدی میانه زمان دریافت اولین توکن (TTFT) و کاهش ۴۵ درصدی میانه تاخیر کل رفتوبرگشت در یک بار کاری واقعی ثبت شده است.
• آزمون ظرفیت: دستیابی به توان پردازشی ۷٫۴ برابری در درخواست‌هایی با پیشوند مشترک و حدود ۳٫۵ برابر در تعاملات چندمرحل‌های و مکالم‌های.

محدودیت‌ها

• این پروژه بسیار نوپاست و اکوسیستم، جامعه کاربری و مستندات عملیاتی آن در محیط‌های تجاری هنوز در حال رشد و تکامل است.
• برای اجرا به تعاریف Gateway API CRD در کوبرنتیز و فریمورک vLLM نیاز دارد و برای محیط‌های غیرکوبرنتیزی مناسب نیست.

کاربرد

این ابزار مناسب چه کسانی است؟

مهندسان پلتفرم، معماران زیرساخت و تیم‌های MLOps که بهدنبال میزبانی چندمدلی و چندکاربره vLLM روی بسترهای کوبرنتیز هستند.

شروع به کار و راهاندازی

1. ابتدا متن رسمی را در وبلاگ vLLM و مخزن Kinference-AI/kinference در گیتهاب مطالعه کنید.
2. چهار گام اجرایی را طی کنید: نصب تعاریف Gateway API CRDs، نصب درگاه ورود Kinference، نصب خود ابزار Kinference و در نهایت بررسی و تأیید کارکرد صحیح آن.
3. آدرس پایه (Base URL) کلاینت‌های فعلی خود که با OpenAI یا Anthropic کار می‌کنند را به نشانی اندپوینت Kinference تغییر دهید.
4. تنظیمات مربوط به تیم‌ها، محدودیت نرخ درخواست‌ها و قوانین مسیریابی را پیکربندی کرده و داده‌های آماری را برای نظارت بر تاخیر اولین توکن (TTFT) و نرخ پردازش مفید به سیستم مانیتورینگ متصل نمایید.