ابزار EAGLE-4 با تنظیم هوشمند بار پردازشی، سرعت پاسخگویی Qwen3 را ۳ برابر می‌کند

تیم توسعه‌دهنده EAGLE از نسخه جدید ابزار خود به نام EAGLE-4 رونمایی کرد؛ یک مدل پیشنهاددهنده (Drafter) تطبیق‌پذیر برای تکنیک دیکودینگ گمانه‌زن (Speculative Decoding) که در قالب بسته پایتونی eagle-harness از طریق pip قابل نصب است. این مدل هوشمند با سنجش هزینه‌های سرور، درخت گمانه‌زنی خود را بر اساس اندازه دسته (بچ‌سایز)، مشخصات سخت‌افزار و حجم بار پردازشی لحظه‌ای تنظیم می‌کند و نیاز به تعریف پیکربندی‌های جداگانه برای حالت‌های تعاملی تک‌کاربره یا سناریوهای شلوغ با همزمانی بالا را از بین می‌برد.

تکنیک دیکودینگ گمانه‌زن از یک مدل سبک‌تر برای پیشنهاد چند توکن اولیه استفاده می‌کند و سپس مدل اصلی، صحت آن‌ها را به‌صورت موازی بررسی و تأیید می‌کند. این راستی‌آزمایی دقیق سبب می‌شود توزیع خروجی مدل اصلی بدون افت کیفیت دست‌نخورده باقی بماند و هم‌زمان، تعداد فراخوانی‌های پیاپی مدل هدف کاهش یابد. بنابراین کارایی نهایی سیستم مستقیماً به‌سرعت مدل پیشنهاددهنده در تولید کاندیداهای دقیق و میزان پردازش لازم برای تأیید آن‌ها توسط مدل اصلی بستگی دارد.

pip install eagle-harness

پکیج eagle-harness از طریق قلاب‌های ثبتی داخلی و بدون نیاز به دستکاری کدهای زمان اجرا، به‌سادگی با موتورهای محبوب پردازش هوش مصنوعی نظیر SGLang، vLLM و موتور آزمایشی TokenSpeed ادغام می‌شود. ترکیب مرجع در آزمایش‌ها از مدل Qwen3.8-27B در کنار چک‌پوینت رسمی EAGLE-4 بهره می‌برد.

گمانه‌زنی هوشمند متناسب با ترافیک لحظه‌ای سرور

مدل EAGLE-4 فرآیند تولید توکن‌های حدسی و تأیید آن‌ها توسط مدل هدف را متناسب با اندازه دسته فعال ارزیابی می‌کند؛ سپس عمق و ضریب شاخه‌بندی درخت را به‌گونه‌ای تنظیم می‌کند که بالاترین توان پردازشی ممکن حاصل شود. تنظیم مقدار top-k روی ۱ یک زنجیره حدسی ساده می‌سازد، در حالی که مقادیر بالاتر درختی از توکن‌های ادامه‌دهنده کاندیدا را شکل می‌دهند.

این مدل پیشنهاددهنده چند نوآوری فنی را به خدمت می‌گیرد تا بار محاسباتی و مصرف حافظه خود را به حداقل برساند:

• لایه پیش‌نویس با پنجره لغزان (Sliding-window draft layer): به‌جای توجه هم‌زمان به تمام توکن‌های متن، تنها یک بازه محدود از حالت‌های پنهان اخیر را نگه می‌دارد.
• هِد کاندیدای کم‌رتبه (Low-rank candidate head): فرآیند پیش‌بینی توکن‌ها را به ماتریس‌های کوچک‌تر تجزیه می‌کند تا بار محاسباتی پیشنهاد کاندیداها سبک شود.
• حافظه کش فقط-افزودنی (Append-only draft cache): حافظه کش KV درَفت را در هر مرحله فقط توسعه می‌دهد و از بازسازی پرهزینه آن از ابتدا جلوگیری می‌کند.