کاهش ۵ برابری حجم پرامپت‌ها بدون تغییر متن؛ ابزار LLMLingua-2 مایکروسافت با استقبال گسترده روبه‌رو شد

صفحه رسمی مدل مایکروسافت در پلتفرم Hugging Face به‌تازگی آمار بیش از ۸۰۰ هزار بار دانلود را ثبت کرده و این نسخه در رتبه‌های بالای بخش روندهای روز این پلتفرم قرار گرفته است. البته Hugging Face تمام درخواست‌های معتبر دریافت فایل را شمارش می‌کند؛ بنابراین فرآیندهای یکپارچه‌سازی مداوم (CI)، کانتینرها و راه‌اندازی‌های مکرر نیز می‌توانند در افزایش این رقم سهیم باشند. با این حال، چنین استقبالی نشان‌دهنده تقاضای بسیار بالا برای یافتن روشی کاربردی جهت کاهش طول پرامپت‌ها پیش از ارسال به مدل‌های زبانی پولی و مبتنی بر مصرف است.

این نسخه به خانواده LLMLingua-2 تعلق دارد که جزئیات فنی آن در مقاله پژوهشی LLMLingua-2 تشریح شده است. این سامانه از یک انکودر BERT با حدود ۲۰۰ میلیون پارامتر استفاده می‌کند تا تک‌تک توکن‌های ورودی را در دو دسته حفظ یا حذف طبقه‌بندی کند. توکن‌های انتخاب‌شده دقیقاً با همان ترتیب اولیه خود باقی می‌مانند و پرامپت کوتاه‌تر و بهینه‌تری را برای مدل‌های مقصد مانند GPT-4 یا Claude آماده می‌کنند.

تصمیم‌گیری برای حفظ یا حذف تک‌تک توکن‌ها

ابزارهای فشرده‌سازی پرامپت در گذشته معمولاً توکن‌ها را بر اساس آنتروپی اطلاعات رتبه‌بندی می‌کردند؛ معیاری که نشان می‌دهد یک توکن برای یک مدل زبانی کوچک‌تر چقدر غیرقابل پیش‌بینی به نظر می‌رسد. این رویکرد متن را صرفاً از چپ به راست می‌خواند و به‌جای تمرکز بر بهینه‌سازی فرآیند فشرده‌سازی برای مدل مقصد، شاخصی غیرمستقیم از میزان پیش‌بینی‌پذیری را ملاک قرار می‌داد.

در مقابل، ابزار LLMLingua-2 به‌طور مستقیم بر اساس برچسب‌های «حفظ یا حذف» آموزش می‌بیند و با بهره‌گیری از مکانیزم توجه دوطرفه، متن‌های قبل و بعد از هر توکن را هنگام تصمیم‌گیری ارزیابی می‌کند. از آنجا که این انکودر به‌جای تولید متن جایگزین، صرفاً کلمات اصلی را از خود متن مبدأ انتخاب می‌کند، از بروز واژه‌های ساختگی یا انحراف مفهومی جلوگیری می‌شود. با وجود این، فشرده‌سازی همواره ممکن است بخشی از اطلاعات مورد نیاز مدل مقصد را حذف کند؛ بنابراین خروجی استخراجی را نباید تضمینی قطعی برای دریافت پاسخ‌های کاملاً یکسان دانست.