روش جدید LoopRPT به هوش مصنوعی یاد می‌دهد با بازچرخانی لایه‌ها هوشمندتر فکر کند

آموزش مدل‌های زبانی در دل حلقه‌های پنهان با LoopRPT

مدل‌های زبانی بازچرخشی (Looped language models) به‌جای استفاده از تعداد زیادی لایه متمایز، یک دسته مشخص از لایه‌های ترنسفورمر را در چند گذر بازچرخشی دوباره به کار می‌گیرند تا پیش از پیش‌بینی هر توکن، حالت‌های پنهان (Hidden States) را صیقل داده و غنی‌تر کنند. اکنون مقاله پژوهشی LoopRPT یک هدف پیش‌آموزش تقویتی نوین را پیشنهاد می‌دهد که مستقیماً به همین گذرهای میانی امتیاز اختصاص می‌دهد. پژوهشگران در ارزیابی دو نسخه از مدل Ouro گزارش کرده‌اند که این روش، در یک میانگین مشخص از تعداد چرخه‌ها، دقت بالاتری ارائه می‌دهد و به توکن‌هایی که به بار پردازشی کمتری احتیاج دارند، امکان خروج زودهنگام می‌بخشد.

پاداش‌های سطح توکن و محو شدن سهم پردازش‌های پنهان

فناوری LoopRPT بر پایه خانواده مدل‌های Ouro بنا شده است؛ گروهی از مدل‌های زبانی صرفاً کدگشا (Decoder-only) که یک مجموعه ثابت از لایه‌های ترنسفورمر را به‌صورت پیاپی روی داده‌ها اجرا می‌کنند. در این ساختار، اشتراک‌گذاری وزن‌ها باعث می‌شود تعداد پارامترهای مدل در تمام گذرها ثابت بماند، درحالی‌که اجرای هر گذر بازچرخشی بیشتر، میزان محاسبات و زمان تأخیر را افزایش می‌دهد.

مدل Ouro در جریان هر گذر بازچرخشی، احتمال توقف (Halting Probability) را محاسبه و پیش‌بینی می‌کند. این مقدار احتمال تعیین می‌کند که آیا پردازش یک توکن مشخص باید متوقف شود یا ادامه یابد؛ قابلیتی که به سیستم اجازه می‌دهد پیش‌بینی‌های ساده را با عمق محاسباتی کمتر انجام دهد و عمق بیشتر را برای پیش‌بینی‌های دشوار و پیچیده ذخیره کند.

روش‌های متداول آموزش بر پایه پیش‌بینی توکن بعدی، گرادیان‌ها را از میان حالت‌های پنهانِ بازچرخشی عبور می‌دهند، اما فرآیند نظارت آن‌ها صرفاً توزیع توکن‌های نهایی خروجی را ارزیابی می‌کند. از سوی دیگر، یادگیری تقویتی در سطح خروجی نیز با مسئله مشابهی در «تخصیص اعتبار» (Credit Assignment) روبه‌رو است؛ به این ترتیب که یک پاداش نهایی می‌تواند کل مسیر محاسبات را تحت تأثیر قرار دهد، بدون اینکه میزان اثرگذاری و سهم واقعی هر گذر را بسنجد. چارچوب LoopRPT با افزودن یک سیگنال آموزشی هدفمند که مستقیماً به به‌روزرسانی‌های میانی در فضای پنهان گره خورده است، این چالش بنیادین را برطرف می‌کند.