کاهش ۴۷ درصدی مصرف توکن استدلال با تکنیک جدید RePro؛ هوش مصنوعی باهوش‌تر اما کم‌خرج‌تر!

پاداش به استدلال‌های مؤثر؛ وقتی RePro جلوی درجا زدن مدل را می‌گیرد

محققان آزمایشگاه هوش مصنوعی شانگهای و دانشگاه موناش از روش جدیدی به نام RePro رونمایی کرده‌اند؛ یک سیستم پاداش در سطح فرآیند (process-level reward) که مدل‌های استدلالی را طوری آموزش می‌دهد که راه‌حل‌هایی کوتاه‌تر و در عین حال دقیق‌تر تحویل دهند. در این روش، هر گامی که اطمینان مدل را نسبت به پاسخ درست بیش‌تر کند پاداش می‌گیرد، اما اگر مدل دچار دور باطل شود، بی‌هدف به عقب برگردد یا محاسبات تکراری انجام دهد، جریمه خواهد شد.

اگرچه ردپای طولانی استدلال و فکر کردن بیش‌تر می‌تواند عملکرد مدل‌ها را در مسائل پیچیده حسابی بالا ببرد، اما در روش‌های یادگیری تقویتی معمول، مدل‌ها اغلب تشویق می‌شوند هزاران توکن صرف بازبینی نتیجه‌هایی کنند که از قبل به آن‌ها رسیده بودند! متد RePro دقیقاً دست روی همین نقطه ضعف آموزشی گذاشته، اما بدون اینکه یک جریمه کورکورانه برای طول متن وضع کند؛ به این ترتیب، استدلال‌های واقعاً مفید سر جای خود باقی می‌مانند و فقط گام‌های بیهوده‌ای که هیچ پیشرفت ملموسی ایجاد نمی‌کنند از بازی حذف می‌شوند.

وقتی پاداش بر اساس نتیجه نهایی، مسیرهای فرعی را نادیده می‌گیرد

یادگیری تقویتی با پاداش‌های قابل تأیید (یا همان RLVR)، مدل‌ها را بر اساس پاسخ‌هایی آموزش می‌دهد که به صورت خودکار قابل راستی‌آزمایی هستند. این رویکرد معمولاً برای استدلال‌های ریاضی به کار می‌رود و در واقع زیربنای سیستم‌های موفقی مثل DeepSeek-R1 و Kimi K1.5 به حساب می‌آید. در این متد، مدل یک راه‌حل تولید می‌کند و اگر جواب نهایی‌اش با مرجع درست مطابقت داشته باشد پاداش می‌گیرد؛ اما در طول مسیر، تقریباً هیچ بازخورد و راهنمایی دقیقی درباره کیفیت تک‌تک گام‌هایی که برداشته دریافت نمی‌کند.

همین سیگنال محدود و کلی باعث می‌شود حتی مسیرهای فوق‌العاده ناکارآمد و طولانی هم نمره کامل بگیرند! جالب است بدانید در یک پژوهش قبلی مشخص شد مدل‌های سبک o1 حتی برای پاسخ به سوالات بسیار پیش‌پاافتاده‌ای مثل «۲ به‌علاوه ۳» هم گاهی هزاران توکن استدلال تولید می‌کردند. در این زنجیره‌های فکری معمولاً شاهد محاسبات تکراری، دست‌به‌عصا راه رفتن مدل، رها کردن شاخه‌های مختلف تفکر و خوداصلاحی‌های بی‌ثمری هستیم که در نهایت هیچ تغییری در پاسخ ایجاد نمی‌کنند.

نویسندگان مقاله RePro این الگوها را با یک تشبیه بهینه‌سازی توصیف می‌کنند: استدلال سازنده و مفید باید پیوسته مدل را به سمت پاسخ درست پیش ببرد، در حالی که رفت‌وبرگشت‌های متوالی و نوسان، نشانه درجا زدن است. این دیدگاه باعث می‌شود میزان اطمینان به پاسخ به یک سیگنال کاملاً قابل سنجش برای هر بخش منتخب از زنجیره استدلال تبدیل شود.

تبدیل احتمال درستی پاسخ به سیگنالی برای تک‌تک گام‌ها

روش RePro میزان پیشرفت را با استفاده از احتمالی که پس از هر بخش از مسیر استدلال به پاسخ درست نسبت داده می‌شود، می‌سنجد. برای یک پرسش...