محققان Together AI مشکل پنهان ناپایداری در آموزش مدل‌های زبانی را برطرف کردند

تمرکز بر رفع انحراف سیاست در یادگیری تقویتی مدل‌های زبانی

یادگیری تقویتی در مدل‌های زبانی بزرگ (LLM) معمولاً از یک سیستم برای تولید خروجی‌ها و از سیستمی دیگر برای محاسبه گرادیان‌ها استفاده می‌کند. تفاوت‌های عددی کوچک میان این دو سیستم می‌تواند روند آموزش را دچار ناپایداری کند؛ حتی زمانی که هر دو از وزن‌های مدل یکسانی استفاده می‌کنند. در مقاله‌ای جدید، محققان Together AI به نام‌های مارتین مارک و مکس ریابینین ریشه این ناپایداری را در یک سوگیری در گرادیان سیاست ردیابی کرده و اصلاحیه‌ای به نام «مرکزیت امتیاز» (Score Centering) پیشنهاد داده‌اند.

این روش، امتیاز موردانتظار نمونه‌بردار در هر پیشوند توکن را تفریق می‌کند. این کار بدون نیاز به برش نسبت اهمیت، سوگیری را از بین می‌برد. بر اساس آزمایش‌های انجام‌شده، این تکنیک کمتر از ۱ درصد سربار زمانی به سیستم اضافه می‌کند و قابلیت ترکیب با روش‌های موجود نمونه‌برداری اهمیتی را نیز دارد.

یک سیاست، دو مسیر محاسباتی متفاوت

پشته‌های نرم‌افزاری یادگیری تقویتی در محیط‌های عملیاتی، معمولاً فرآیند تولید خروجی را از بهینه‌سازی جدا می‌کنند. یک موتور استنتاج مانند vLLM یا SGLang نمونه‌برداری توکن‌ها را بر عهده دارد، در حالی که یک چارچوب آموزشی مسیرهای رفت و برگشت را اجرا می‌کند. این دو سیستم ممکن است به دلایل زیر توزیع‌های متفاوتی برای توکن بعدی از یک نقطه بازرسی (Checkpoint) یکسان تولید کنند:

• تفاوت در دقت عددی، کرنل‌ها یا ترتیب محاسبات تقلیلی
• استنتاج خودهمبسته در ترکیب با آموزش موازی‌توالی
• وزن‌ها، فعال‌سازی‌ها یا حافظه‌های پنهان کلید-مقدار کمّی‌شده
• استفاده از نمونه‌بردارهای قدیمی که بر اساس نقاط بازرسی پیشین خروجی تولید می‌کنند

در روش‌های تنظیم دقیق نظارت‌شده، از آنجا که توزیع داده‌ها ثابت می‌ماند، سیستم می‌تواند تفاوت‌های بسیار بزرگ‌تری را تحمل کند. در این حالت یک مدل می‌تواند از طریق آموزش معمولی با روش حداکثر احتمال، از خروجی‌های مدلی دیگر یاد بگیرد. اما یادگیری تقویتی آنلاین یک حلقه بازخورد ایجاد می‌کند: سیستم آموزش‌دهنده به‌روزشده، نمونه‌بردار بعدی را تولید می‌کند و سپس تقریب‌های عددی آن بر به‌روزرسانی‌های بعدی تأثیر می‌گذارند.

مارک و ریابینین در آزمایشی روی مدل Qwen3-1.7B، این حلقه بازخورد را با ایجاد اختلال در وزن‌های نمونه‌بردار ایزوله کردند. نتایج نشان داد که آموزش آنلاین با پاداش‌های کاملاً مثبت کمترین پایداری را دارد؛ در حالی که برچسب‌های مثبت در آموزش آفلاین مشکلی ایجاد نمی‌کنند. این نتیجه‌گیری به یک سوگیری وابسته به پاداش اشاره دارد که با هر بار نوسازی نمونه‌بردار، انباشته و تشدید می‌شود.