الگوریتم جدید FMER سرعت آموزش ربات‌ها را ۷ برابر افزایش می‌دهد

در یادگیری تقویتی آنلاین (Online RL)، سیاست کنترلی مدل بر اساس تعاملات جدید با محیط به‌روزرسانی می‌شود؛ موضوعی که فرآیند کاوش (Exploration) و پایداری به‌روزرسانی‌ها را به قلب تپنده آموزش تبدیل می‌کند. سیاست‌های انتشاری (Diffusion policies) توانایی فوق‌العاده‌ای در مدلسازی توزیع‌های پیچیده و چندحالته اکشن‌ها دارند، اما نمونه‌بردارهای تکرارشونده آن‌ها با دو چالش و هزینه محاسباتی سنگین همراه‌اند: محاسبه آنتروپی سیاست بسیار دشوار است و بهینه‌سازی سرتاسری به محاسبه گرادیان در طول زنجیره‌ای طولانی از مراحل کاهش نویز نیاز دارد. اکنون پژوهشگران دانشگاه فناوری دلفت (TU Delft) در مقاله‌ای با عنوان «بهینه‌سازی سیاست تطبیق جریان با نزول آینه‌ای و قیود آنتروپی» که با نام مقاله FMER منتشر شده است، فرآیند تصادفی معکوس را با یک سیاست جریان مبتنی بر معادله دیفرانسیل معمولی (ODE) جایگزین کرده‌اند.

الگوریتم FMER یک میدان بردار سرعت وابسته به زمان را یاد می‌گیرد که نویز پایه را به سمت توزیع اکشن مورد نظر هدایت می‌کند. سیاست حاصل ضمن حفظ ظرفیت لازم برای مدلسازی حالت‌های گوناگون اکشن، یک تابع هدف آنتروپی قابل محاسبه و فرآیند به‌روزرسانی پایداری ارائه می‌دهد که از پس‌انتشار خطا (Backpropagation) در حل‌کننده ODE بی‌نیاز است. هرچند نمونه‌برداری همچنان به انتگرال‌گیری عددی احتیاج دارد، اما بیشترین صرفه‌جویی محاسباتی مستقیماً در مرحله آموزش اعمال می‌شود، نه در تمام بخش‌های چرخه پردازش.

چرا فرآیند کاهش نویز یادگیری تقویتی آنلاین را پیچیده می‌کند؟

سیاست‌های انتشاری با حذف پیاپی نویز، اکشن‌ها را تولید می‌کنند. این فرآیند گام‌به‌گام می‌تواند رفتارهای چندگانه را به‌خوبی مدیریت کند؛ برای نمونه، برداشتن یک جسم با دست چپ یا دست راست، حالتی است که سیاست‌های مرسوم گوسی تک‌حالته ممکن است اکشن‌های ناسازگار را با هم میانگین بگیرند یا فقط به یک حالت محدود شوند. با وجود این، روش‌هایی که نمونه‌بردار را به‌صورت سرتاسری بهینه‌سازی می‌کنند، هزینه‌های سنگین حافظه و بار محاسباتی ناشی از مشتق‌گیری در تک‌تک مراحل کاهش نویز را به‌همراه دارند.

علاوه بر این، چگالی اکشن نهایی که از یک فرآیند تصادفی معکوس به دست می‌آید، فرمول بسته و کم‌هزینه‌ای برای محاسبه آنتروپی ندارد. تنظیم‌سازی آنتروپی (Entropy regularization) در حالت معمول به سیاست کنترلی برای حفظ گستردگی توزیع اکشن‌ها پاداش می‌دهد؛ قابلیتی که مانع از تمرکز زودهنگام مدل شده و از فرآیند کاوش پشتیبانی می‌کند. روش‌های یادگیری تقویتی مبتنی بر انتشار ناچارند این هدف را از طریق تقریب‌های تجربی، نمونه‌بردارهای کمکی یا راهکارهای غیرمستقیم دیگر تخمین بزنند.

تکنیک تطبیق جریان (Flow matching) نیز نقطه آغاز خود را از نویز می‌گیرد، اما میدان بردار سرعتی به‌شکل v(x,t,s) را یاد می‌گیرد که یک معادله دیفرانسیل معمولی را متناسب با وضعیت s تعریف می‌کند. پس از نمونه‌برداری اولیه از نویز، مسیر حل ODE کاملاً قطعی و بدون تصادف است. الگوریتم FMER در یک فضای اکشن نهفته نامحدود عمل کرده و این راهکار را پیاده‌سازی می‌کند.