مقایسه دقیق روش‌های RLHF و DPO؛ مقاله جدید کنفرانس ICML زمان برتری هر روش را مشخص کرد

توسعه‌دهندگانی که قصد دارند میان روش‌های RLHF، DPO آفلاین و DPO آنلاین انتخاب کنند، اغلب نتایج بنچمارک‌های جامع را مقایسه می‌کنند؛ در حالی که این نتایج عواملی مانند گنجایش مدل، پوشش ترجیحات و رفتار بهینه‌سازی را با یکدیگر درهم‌می‌آمیزند. اکنون مقاله‌ای که در کنفرانس ICML پذیرفته شده است، اثرات خطای مدل‌سازی و محدودیت داده‌های ترجیحات را به‌صورت تفکیک‌شده بررسی می‌کند. تحلیل‌های این مقاله نشان می‌دهد که هر روش در چه شرایطی می‌تواند بر سایر رویکردها برتری یابد و به تیم‌های فنی کمک می‌کند تصمیم بگیرند فرضیات مدل‌سازی خود را کجا متمرکز کنند و بودجه برچسب‌گذاری داده‌ها را به چه شکلی تخصیص دهند.

یک هدف مشترک و سه مسیر آموزشی متفاوت

در روش RLHF، ابتدا یک مدل پاداش بر اساس جفت‌پاسخ‌های برگزیده و ردشده آموزش داده می‌شود و سپس سیاست مدل زبانی در برابر این پاداشِ یادگرفته‌شده بهینه‌سازی می‌گردد. سیستم‌های عملی اغلب از الگوریتم PPO برای به‌روزرسانی سیاست استفاده می‌کنند. در مقابل، روش DPO سیاست را مستقیماً روی جفت‌های ترجیحات آموزش می‌دهد و نیازی به بهینه‌سازی مجزای مدل پاداش ندارد. روش Online DPO نیز همین به‌روزرسانی مستقیم را تکرار می‌کند، اما داده‌های مقایسه‌ای جدید را از پاسخ‌هایی گردآوری می‌نماید که توسط خود سیاست فعلی تولید شده‌اند.

در بیشینه‌سازی پاداش با قاعده تنظیم‌گری واگرایی KL، سیاست بهینه از رابطه ریاضی π*(y|x) ∝ π_ref(y|x) exp(r(x,y)/β) پیروی می‌کند. در این فرمول، سیاست مرجع مانع انحراف بیش از حد مدل می‌شود و پارامتر β شدت این محدودیت را تنظیم می‌کند. روش DPO این رابطه میان پاداش و سیاست را جایگزین احتمال ترجیحات کرده و پارامترهای سیاست را مستقیماً بهینه‌سازی می‌کند. این مقاله پژوهشی بر پایه مدل ترجیحات Bradley-Terry استوار است که اختلاف پاداش بین دو پاسخ را به احتمال ترجیح داده شدن یکی بر دیگری تبدیل می‌کند.