آموزش مدل‌های کوچک هوش مصنوعی برای یادگیری از اشتباهات خود

فناوری تقطیر دانش (Knowledge Distillation) به مدل‌های زبانی کوچک‌تر امکان می‌دهد تا توانمندی‌ها و هوشمندی سیستم‌های غول‌پیکر را به ارث ببرند، اما شیوه رایج و سنتی این فرایند یک شکاف بنیادین میان مرحله آموزش و آزمایش عملی ایجاد می‌کند. در فرایند آموزش مرسوم، مدل شاگرد صرفاً پاسخ‌های آماده و بی‌نقص مدل معلم را مطالعه می‌کند؛ درحالی‌که هنگام استفاده واقعی و پاسخ‌دهی مستقل، مدل باید جملات را با تکیه بر واژه‌های ناقص خودش ادامه دهد. در چنین وضعیتی، کوچک‌ترین اشتباه اولیه می‌تواند مسیر کل پاسخ را منحرف کند و خروجی را به بیراهه بکشاند. اکنون تیم پژوهشگران در مقاله مروری جدید خود تحت عنوان A Survey of On-Policy Distillation for Large Language Models، به بررسی و دسته‌بندی تحقیقاتی پرداخته‌اند که با آموزش مستقیم مدل‌های شاگرد روی مسیر پاسخ‌های خودشان، درصدد رفع این شکاف برآمده‌اند.

این پژوهش در قالب یک مرور جامع علمی، چارچوب ریاضی مشترک، دسته‌بندی ساختاریافته و نقشه راهی مشخص برای پژوهش‌های آینده ارائه می‌دهد؛ هرچند نتایج بنچمارک جدیدی گزارش نکرده و کدی به‌همراه ندارد.

چرا نمونه‌های بی‌نقص باعث شکنندگی مدل‌های شاگرد می‌شوند؟

تقطیر استاندارد به‌صورت ناهمسو با عملکرد واقعی (Off-Policy) انجام می‌شود؛ به این معنا که مدل شاگرد داده‌ها را از مجموعه‌ای ثابت و از پیش آماده از توالی‌های ساخته‌شده توسط مدل معلم یاد می‌گیرد. در این رویکرد، میزان خطای مدل بر اساس تاریخچه متنی نوشته‌شده توسط معلم محاسبه می‌شود، در حالی که در محیط استقرار و اجرای واقعی، مدل ناچار است با تاریخچه‌ای که حاصل حدس‌ها و انتخاب‌های خودش است پیش برود. به محض اینکه مدل یک واژه نامناسب یا غیرمنتظره تولید کند، وارد بستری مفهومی می‌شود که در داده‌های آموزشی آن حضور کمرنگی داشته است و همین موضوع سبب سردرگمی بیشتر مدل می‌شود.

تحلیل‌های نظری در حوزه یادگیری تقلیدی نشان می‌دهند که خطای انباشته‌شده می‌تواند همگام با افزایش طول توالی متن، به شکلی تصاعدی و با نرخ توان دوم رشد کند. زنجیره‌های استدلال طولانی، عامل‌های هوشمند مجهز به ابزارها و جریان‌های کاری چندمرحله‌ای، این چالش را دوچندان می‌کنند؛ زیرا هر تصمیم یا اقدام اولیه مدل، بافت متنی تصمیمات بعدی را دگرگون می‌سازد و ضریب خطا را بالاتر می‌برد.

روش تقطیر همسو با عملکرد یا OPD (مخفف On-Policy Distillation)، شیوه نظارت بر روند شکل‌گیری پاسخ‌ها را متحول می‌کند. در این روش، ابتدا مدل شاگرد به‌عنوان نمونه یک مسیر پاسخ‌دهی را خودش تولید می‌کند و سپس مدل معلم پیشوندهای نگاشته‌شده توسط شاگرد را از طریق توزیع واژگان، امتیاز توالی یا پاداش نهایی ارزیابی می‌کند. تکرار این چرخه نمونه‌برداری و تصحیح مداوم، مدل شاگرد را با همان موقعیت‌ها و چالش‌هایی روبرو می‌سازد که به احتمال زیاد در زمان استقرار و استفاده واقعی تجربه خواهد کرد. در فرضیات یادگیری تقلیدی تعاملی، این فرایند می‌تواند رشد فاجعه‌بار خطاها را تا حد زیادی مهار کرده و آن را به یک رابطه خطی و قابل کنترل با طول متن تبدیل کند.