خداحافظی با هدررفت کارت‌های گرافیک؛ فریم‌ورک QwenGyre علی‌بابا آموزش ایجنت‌ها را ۱.۸۵ برابر سریع‌تر کرد!

روشن ماندن موتور GPUها در ماراتن چندساعته ایجنت‌ها با QwenGyre

اجرای طولانی و چندساعته ایجنت‌های کدنویسی، زیرساخت‌های یادگیری تقویتی (RL) را حسابی به چالش می‌کشد؛ چرا که تفاوت زمان انجام کارها، تاریخچه‌های اجرایی شاخه‌شاخه و تولید توکن‌هایی که در هر تسک به مرز یک میلیون می‌رسد، فشار عجیبی به سرور‌ها می‌آورد. در همین راستا، تیم Qwen در شرکت علی‌بابا از QwenGyre رونمایی کرده است؛ فریم‌ورکی اختصاصی که دقیقاً برای مدیریت این حجم کاری سنگین طراحی شده است. گزارش‌های این مقاله از ارتقای ۶ درصدی عملکرد در بنچمارک تولید مخزن کد (ریپازیتوری) و شتاب ۱.۸۵ برابری فرایند آموزش سرتاسری نسبت به روش‌های سنتی Async و Colocate خبر می‌دهند.

چرا تسک‌های طولانی کارت‌های گرافیک را بیکار و معطل می‌گذارند؟

سیستم‌های یادگیری تقویتی سنتی برای ایجنت‌ها فرض را بر این می‌گذارند که هر رول‌اوت (Rollout یا همان یک دور تعامل و اجرای کامل مدل در محیط) نهایتاً چند دقیقه بیش‌تر طول نمی‌کشد. اما QwenGyre دست روی پروژه‌هایی گذاشته که محققان به آن تسک‌های با افق بسیار طولانی (xLong-horizon) می‌گویند؛ کار‌هایی مثل ساخت صفر تا صد یک ریپازیتوری کامل، بازنویسی کل ساختار یک پایگاه کد (Codebase) یا مهاجرت‌های بزرگ پلتفرمی که ساعت‌ها زمان برده و به صدها بار فراخوانی ابزار مختلف نیاز دارند.

تفاوت فاحش در زمان اجرای کار‌ها باعث شکل‌گیری پدیده «دم دراز» (Long Tail) می‌شود؛ جایی که پس از اتمام بیش‌تر کارها، فقط چند وظیفه سنگین و کُند باقی مانده و کل گام بعدی آموزش را معطل خود نگه می‌دارند. دو روش رایج زمان‌بندی هم هر کدام به شکلی این منابع ارزشمند را هدر می‌دهند:

• روش Colocate: یک مجموعه مشترک از کارت‌های گرافیک را به صورت نوبتی بین تولید رول‌اوت و مرحله آموزش جابه‌جا می‌کند. در نتیجه، بخش آموزش باید منتظر کُندترین دسته رول‌اوت‌ها بماند تا بتواند کل منابع GPU را در اختیار بگیرد.
• روش Async: دسته‌های ثابتی از پردازنده‌های گرافیکی را جداگانه به تولید و آموزش اختصاص می‌دهد. با این فرمول، ظرفیت‌های بیکار در یک بخش هرگز نمی‌توانند به کمک بخش دیگر بیایند و عملاً می‌سوزند.

محیط‌های پیشرفته اجرای کد (هارنس‌ها) دردسر دیگری هم درست می‌کنند؛ فشرده‌سازی زمینه (Context Compaction) پیام‌های قدیمی‌تر را با خلاصه‌ها جایگزین می‌کند، ساب‌ایجنت‌ها در محیط‌های ایزوله فعالیت می‌کنند و تلاش‌های مجدد، مسیرهای شاخه‌شاخه جدیدی می‌سازند. اگر همه این مسیرها را به نمونه‌های مستقل تبدیل کنیم، پیشوندهای مشترک بارها و بارها تکرار می‌شوند و زمینه دقیقی که هر توکن را تولید کرده به کلی گم می‌شود.

حل معما با تقسیم کار میان سلول‌ها و درخت‌ها

فریم‌ورک QwenGyre طول عمر اجرای تسک‌ها را کاملاً از تخصیص منابع کارت گرافیک و نمونه‌های آموزشی جدا می‌کند. بخش «زمان‌بند منعطف» (Elastic Scheduler) در طول رول‌اوت منابع پردازشی را دوباره سازماندهی می‌کند، در حالی که «پردازشگر مسیر» (Trajectory Processor) تاریخچه‌های منشعب و شاخه‌ای را برای مرحله آموزش سرهم می‌کند.

حرکت سلول‌ها به سمت پردازش‌های آماده

زمان‌بند منعطف کل کلاستر را به «سلول‌ها» (کوچک‌ترین دسته‌های GPU که توانایی میزبانی چینش موازی مدل برای آموزش را دارند) تقسیم می‌کند. هر سلول می‌تواند به درخواست‌های رول‌اوت پاسخ دهد یا یک کپی از اکتور آموزشی را اجرا کند؛ بنابراین، ظرفیت‌های خالی تولید می‌توانند بدون نیاز به متوقف کردن کار‌های در حال اجرا، مستقیماً به چرخه آموزش بپیوندند.

در هر استقرار، یک سلول هسته وجود دارد که وزن‌های اصلی مدل را نگه داشته و بهینه‌ساز را اجرا می‌کند. در کنار آن، سلول‌های اقماری (Satellite Cells) بسته به نوسان تقاضا، وظیفه خود را میان تولید و آموزش تغییر می‌دهند. موازی‌سازی پویای داده‌ها نیز به سلول‌های ماهواره‌ای تازه‌نفس اجازه می‌دهد بلافاصله به یک بچ آموزشی که از قبل شروع شده ملحق شوند.

در زمان تغییر وظیفه، یک پروکسی هوشمند درخواست‌های جاری مدل را به یک موتور استنتاج دیگر هدایت می‌کند. کش کلیدها و مقادیر توجه (KV Cache) نیز از طریق فناوری RDMA جابه‌جا می‌شود تا سیستم مقصد به جای محاسبه مجدد، همان پیشوندهای پردازش‌شده قبلی را دوباره استفاده کند.

درخت‌ها زمینه دقیق را حفظ می‌کنند

پردازشگر مسیر، هر اجرای تسک را به شکل یک ساختار درختی ثبت می‌کند که شاخه‌های آن پیشوندهای ذخیره‌شده را با هم به اشتراک می‌گذارند. به این ترتیب، هر خروجی تولیدشده دقیقاً به همان زمینه‌ای متصل می‌ماند که آن را خلق کرده است؛ حتی خروجی‌هایی که پیش از فشرده‌سازی متن یا درون سشن یک ساب‌ایجنت ساخته شده‌اند.

ماسک زیان (Loss Mask) این سیستم فقط شامل توکن‌هایی می‌شود که مستقیماً توسط پالیسی تولید شده‌اند. اهداف مشترک فقط یک بار تأثیر داده می‌شوند و میزان خطای توکن‌ها پیش از تجمیع نهایی، در درون هر اجرا میانگین‌گیری می‌شود. این سازوکار مانع از آن می‌شود که کار‌های پرشاخه و شلوغ، وزن غیرمنصفانه‌ای در جریان آموزش به خود بگیرند.

دستاوردهای مفید حتی در زمان تایم‌اوت

اگر اجرای تسک تولید یک ریپازیتوری با خطای اتمام زمان (Timeout) روبه‌رو شود، معمولاً هنوز بخش‌هایی از آن ریپازیتوری کار می‌کند، پکیج‌هایی ساخته شده‌اند و تست‌هایی با موفقیت پاس شده‌اند. سیستم QwenGyre این فضای کاری حفظ‌شده را دقیقاً بررسی می‌کند و در صورت امکان ارزیابی، برای کار‌های انجام‌شده امتیاز نسبی (Partial Credit) در نظر می‌گیرد تا این تلاش‌های ناتمام هم به نمونه‌های آموزشی نمره‌دار و ارزشمند تبدیل شوند.

سیستم‌های کنترل نمونه‌برداری این موارد را در چارچوب یک بودجه محاسباتی مشخص نگه می‌دارند. پردازشگر در هر اجرا حداکثر پنج مسیر (Jmax) انتخاب کرده و آن‌ها را بر اساس نقش‌شان در محیط کار رتبه‌بندی می‌کند. برای مثال در ابزار Claude Code، گام‌های ایجنت اصلی که وظیفه هدایت تسک را دارد بالا‌تر از گام‌های ساب‌ایجنت‌ها قرار می‌گیرند و مسیرهای خلاصه در آخر می‌آیند. در آزمایش‌های انجام‌شده، تعیین سقف ۵ مسیر با کیفیت نمونه‌برداری بدون محدودیت برابری کرد و زمان رفت‌وبرگشت پردازش (Forward-Backward) را حدود ۲۵ درصد کاهش داد، در حالی که آموزش صرفاً روی مسیر اصلی به امتیازهای ضعیف‌تری منجر شد.

دستاوردهای چشمگیر و ارقام خیره‌کننده در مقیاس بزرگ

پژوهشگران فریم‌ورک QwenGyre را روی سه بار کاری ایجنتی ارزیابی کردند: NL2RepoBench برای ساخت ریپازیتوری‌ها از توضیحات زبان طبیعی، DeepSWE برای برطرف کردن باگ‌ها در کدهای موجود، و TerminalBench برای انجام تسک‌های چندمرحله‌ای در ترمینال. در تمام این آزمایش‌ها از Claude Code درون محیط‌های ایزوله کانتینری استفاده شد.

در بزرگ‌ترین مقیاس آزمایش‌شده، مدل Qwen 3.8 2.4T توانست ۴۸ گام آموزشی را ظرف ۷۵.۴ ساعت به پایان برساند؛ در حالی که همین تعداد گام با روش Async حدود ۱۳۴.۶ ساعت و با Colocate نزدیک به ۹۱.۵ ساعت زمان می‌برد. این آمار نشان‌دهنده شتاب به ترتیب ۱.۷۸ برابری و ۱.۲۱ برابری است. جالب اینکه نرخ قبولی در بنچمارک NL2RepoBench نیز در طول این روند از ۵۲.۵ درصد به ۵۸.۵ درصد جهش پیدا کرد.

معیار کهنگی خط‌مشی (Policy Staleness) نشان می‌دهد که پالیسیِ تولیدکننده رول‌اوت چند به‌روزرسانی بهینه‌ساز با پالیسیِ مصرف‌کننده آن در مرحله آموزش فاصله دارد. سیستم QwenGyre میانگین کهنگی فوق‌العاده پایینی معادل ۱.۵ به‌روزرسانی را در هر سه نوع بار کاری ثبت کرد.

جابه‌جایی نقش‌ها از رول‌اوت به آموزش به طور متوسط ۸.۵۲ ثانیه و در مسیر برعکس تنها ۳.۴۶ ثانیه طول کشید. هر انتقال کم‌تر از ۹ ثانیه زمان برد؛ رقمی که در مقایسه با تسک‌های دوساعته عملاً ناچیز است، هرچند هزینه انباشته در نهایت به تعداد دفعات تعویض نقش بستگی دارد.

ریشه‌یابی علت اصلی افزایش سرعت

آزمایش‌های تحلیلی روی یک بار کاری ۱۲ مرحله‌ای نشان داد که چه سهمی از افزایش سرعت به آموزش جریانی (Streaming) و چه بخشی به زمان‌بندی منعطف مربوط است. قابلیت استریمینگ به تنهایی توانست زمان روش Async را ۱۱.۶ درصد کاهش دهد، اما اضافه کردن نودهای رول‌اوت مستقل به روش Colocate بهبود چندانی ایجاد نکرد.

در نقطه مقابل، ترکیب آموزش جریانی با تغییر نقش در سطح سلول‌ها توانست زمان اتمام کار را از ۲۵.۰۸ ساعت در مدل خام Async به ۱۶.۱۲ ساعت در پیکربندی کامل QwenGyre برساند. این دستاورد حاصل بازپس‌گیری ظرفیت‌های بیکار رول‌اوت است؛ در حالی که مسیرهای پردازش‌شده به صورت هم‌زمان به بخش آموزش سرازیر می‌شوند.

هم‌افزایی سه لایه کلیدی در سیستم

1. بازتخصیص منابع در سطح سلول: کارت‌های گرافیکی که تازه آزاد می‌شوند را از طریق موازی‌سازی پویای داده‌ها به یک بچ آموزشی فعال ملحق می‌کند.
2. ردیابی منشأ توکن‌ها (TITO): ورودی‌ها و خروجی‌های مرتبط با فشرده‌سازی زمینه، تلاش‌های مجدد و تقسیم کار بین ساب‌ایجنت‌ها را بدون دستکاری محیط اجرا به طور کامل حفظ می‌کند.
3. ارزیابی پیشرفت ناقص: به جای دادن پاداش صفر به تسک‌های تایم‌اوت‌شده، به کارکردهای سالم و قابل سنجش آن‌ها نمره می‌دهد و از زحمات سیستم استفاده می‌کند.

کاربرد ایده‌آل QwenGyre کجاست؟

پروژه‌هایی با رول‌اوت‌های چندساعته، نوسانات شدید زمانی و شمار توکن‌هایی نزدیک به یک میلیون در هر اجرا، دقیقاً همان زمین بازی هستند که QwenGyre برای آن متولد شده است. در مقابل، وظایف کوتاه‌مدت مثل محاسبات ریاضی که در عرض ۳۰ ثانیه تمام می‌شوند، ظرفیت بیکار چندانی تولید نمی‌کنند و تغییر نقش مداوم پردازنده‌ها برای آن‌ها فایده چشمگیری نخواهد داشت.

محدودیت‌های مربوط به کلاستر و نمونه‌برداری

• حداقل اندازه کلاستر: هر سلولِ قابل تعویض باید گنجایش نگهداری مدل و ساختار موازی آن را داشته باشد. کلاسترهای کوچک احتمالاً سلول‌های مستقل کافی برای جابه‌جایی مؤثر منابع نخواهند داشت.
• محدودیت در برزدن سراسری داده‌ها (Global Shuffling): پردازش جریانی گروه‌های تکمیل‌شده رول‌اوت را به به‌روزرسانی‌های متوالی تخصیص می‌دهد. بنابراین، فرایندهای آموزشی که نیازمند تصادفی‌سازی کامل مینی‌بچ‌ها هستند باید از حالت جهش‌های تک‌مرحله‌ای استفاده کنند که هرچند طبق مقاله سرعت کمتری دارد، اما باز هم از روش‌های پایه سریع‌تر عمل می‌کند.

کد مرجع هنوز منتشر نشده است

در مقاله منتشرشده و اطلاعیه‌های رسمی تیم Qwen، کدی برای این فریم‌ورک ارائه نشده است. در صفحه رسمی Qwen در هاگینگ فیس نیز پژوهش مذکور ثبت شده اما مخزن رسمی مستقلی برای QwenGyre در دسترس نیست.

تیم‌های مهندسی برای پیاده‌سازی این ایده باید زمان‌بندی مبتنی بر سلول، هدایت مجدد درخواست‌ها، انتقال پرسرعت KV-Cache، ردیابی منشأ توکن‌ها و سیستم‌های ارزیابی امتیاز نسبی را شخصاً توسعه دهند. در نهایت، بیش‌ترین بهره‌وری این فریم‌ورک نصیب کلاسترهای بزرگی خواهد شد که بارهای کاری سنگین ایجنتی را اجرا می‌کنند و به دنبال نجات ظرفیت‌های باارزش کارت‌های گرافیک خود هستند.