روش جدید TAC معیارهای عدم قطعیت مدل‌های زبانی را به آشکارساز واقعی توهم تبدیل می‌کند

در مقاله‌ای پژوهشی که در رویداد Findings of EMNLP پذیرفته شده است، پژوهشگران دلایل ناکارآمدی معیارهای رایج عدم قطعیت در شناسایی توهم مدل‌های زبانی را فرمول‌بندی کرده‌اند. محققانی از دانشگاه فناوری نانیانگ، مؤسسه KAIST و دانشگاه جیائو تونگ شانگهای این ناهمخوانی را «شکست متغیر جایگزین» (proxy failure) نامیده‌اند و راهکاری سبک به نام Truth AnChoring یا به اختصار TAC را برای کالیبراسیون و حل این مشکل پیشنهاد داده‌اند.

سیستم‌های تشخیص توهم غالباً معیارهایی مانند آنتروپی پیش‌بینی، سردرگمی (Perplexity) و آنتروپی معنایی را نشانه‌ای از درستی پاسخ مدل در نظر می‌گیرند. بااین‌حال، این شاخص‌ها صرفاً بیانگر رفتار و میزان اطمینان درونی مدل هستند، نه صحت واقعی اطلاعات. روش TAC با استفاده از نمونه‌های برچسب‌دار، امتیاز خام عدم قطعیت را به یک احتمال تخمینی از درستی پاسخ تبدیل می‌کند؛ رقمی ملموس و دقیق که به توسعه‌دهندگان اجازه می‌دهد آستانه‌های مشخصی برای خودداری از پاسخ‌دهی، جستجو و بازیابی مجدد اطلاعات، بازبینی انسانی یا هدایت هوشمند درخواست‌ها تعیین کنند.

• ورودی: امتیاز عدم قطعیتی که برای پاسخ مدل تولید شده است.
• خروجی: احتمال تخمینی درستیِ پاسخ تولیدشده.
• داده‌های آموزشی: برچسب‌های دوگانه صحت (درست/نادرست) که با امتیازهای عدم قطعیت جفت شده‌اند.
• دامنه ارزیابی: پاسخ‌دهی به پرسش‌های مبتنی بر واقعیت در مدل‌های ۳ تا ۹ میلیارد پارامتری.

آنتروپی می‌تواند خطاهای همراه با اطمینان کاذب را نادیده بگیرد

معیار آنتروپی پیش‌بینی، میزان پراکندگی توزیع احتمال توکن بعدی در مدل را می‌سنجد. پایین بودن این مقدار نشان می‌دهد که مدل با قطعیت بالایی ادامه جمله را انتخاب کرده است؛ اما همین پاسخِ به‌ظاهر مطمئن می‌تواند حاوی یک ادعای کاملاً نادرست باشد. از سوی دیگر، آنتروپی معنایی با گروه‌بندی پاسخ‌ها بر اساس معنای آن‌ها، تحلیل گسترده‌تری ارائه می‌دهد؛ بااین‌حال این شاخص نیز همچنان یک متغیر جایگزینِ رفتاری است و رابطه آن با درستی پاسخ می‌تواند در مدل‌ها، پرامپت‌ها و مجموعه‌داده‌های مختلف به‌شدت تغییر کند.

پژوهشگران پدیده شکست متغیر جایگزین (Proxy Failure) را با گزاره‌های علمی زیر صورت‌بندی کرده‌اند:

1. محدودیت اطلاعات در قدرت تفکیک: معیار AUC یک امتیاز، توسط «اطلاعات متقابل» (Mutual Information) میان آن امتیاز و درستی واقعی پاسخ محدود می‌شود. زمانی که این امتیاز حاوی اطلاعات اندکی درباره حقیقت باشد، به‌هیچ‌عنوان نمی‌تواند پاسخ‌های درست را به‌شکلی قابل‌اعتماد بالاتر از پاسخ‌های نادرست رتبه‌بندی کند.