کاهش ۴۸ درصدی هزینه استدلال هوش مصنوعی با LoopCD؛ فکر کردن عمیق‌تر بدون تغییر وزن مدل‌ها

استفاده مجدد از تکرارهای اولیه برای جهش کیفیت رمزگشایی ترنسفورمرها

ترنسفورمرهای تکرارشونده یا حلقه‌ای (Looped Transformers) برای این طراحی شده‌اند که یک بلوک محاسباتی مشترک را در تکرارهای متوالی بازاستفاده کنند؛ با این ترفند، عمق محاسباتی مدل بدون نیاز به اضافه کردن وزن‌های جدید در هر مرحله بیش‌تر می‌شود. حالا ویهائو لیو (Weihao Liu)، روئی‌شیانگ ژانگ (Ruixiang Zhang) و همکارانشان روشی به نام LoopCD را پیشنهاد کرده‌اند؛ یک روش رمزگشایی بدون نیاز به آموزش مجدد (Training-free) که همین تکرارها را به یک سیگنال مقایسه‌ای داخلی تبدیل می‌کند. پژوهشگران این مقاله، که بخشی از کار را در جریان دوره کارآموزی در شرکت اپل (Apple) انجام داده‌اند، اعلام کرده‌اند که با استفاده از تعداد حلقه‌های کمتر، علاوه بر افزایش دقت استدلال، میزان محاسبات (Forward-FLOPs) را بین ۲۲.۵ تا ۴۸.۲ درصد کاهش داده‌اند.

در حالت عادی و هنگام استنتاج، هر تکرار حلقه‌ای یک وضعیت پنهان (Hidden State) تولید می‌کند که مدل می‌تواند آن را به امتیازهای توکن بعدی یا همان لاجیت‌ها (Logits) نگاشت کند. در روش‌های رمزگشایی استاندارد، مدل تنها از وضعیت نهایی استفاده می‌کند و پیش‌بینی‌های اولیه را دور می‌ریزد. اما LoopCD دست به ابتکار جالبی زده است: این روش تکرار اول را مانند یک «پیش‌بینی‌کننده ضعیف» و تکرار نهایی را به عنوان یک «پیش‌بینی‌کننده قوی» در نظر می‌گیرد؛ اتفاقی که نیاز به مدل‌های کمکی (Auxiliary Model) را که معمولاً در روش‌های سنتی رمزگشایی مقابله‌ای (Contrastive Decoding) ضروری بودند، به کلی از بین می‌برد.

یک بلوک تکرارشونده، دو پیش‌بینی‌کننده مجزا

روش LoopCD امتیاز توکن‌ها را با تأکید روی تفاوت میان وضعیت تکرار نهایی و تکرار اولیه تنظیم می‌کند. به زبان ساده، توکن‌هایی که پس از محاسبات بیش‌تر همچنان جایگاه قوی خود را حفظ می‌کنند، وزن بیشتری به دست می‌آورند؛ در حالی که گزینه‌هایی که صرفاً در تکرارهای اولیه محبوب بودند و ارزش سطحی داشتند، شانس خود را از دست می‌دهند و کنار گذاشته می‌شوند.

هر دو نسخه از یک الگوی به‌روزرسانی مشترک پیروی می‌کنند که در آن ضریب alpha شدت کنتراست و تمایز را کنترل می‌کند:

Logit contrast:  z_cd = z_final + alpha * (z_final - z_first)
Hidden contrast: h_cd = h_final + alpha * (h_final - h_first)

در نسخه مبتنی بر لاجیت (Logit Variant)، مدل ابتدا پشته خروجی خود را روی هر دو وضعیت اجرا کرده و سپس امتیازهای واژگان را با هم ترکیب می‌کند. اما در نسخه مبتنی بر وضعیت پنهان (Hidden-State Variant)، مدل ابتدا وضعیت‌ها را با یکدیگر ترکیب می‌کند و خروجی حاصل را تنها یک بار از بخش پایانی (Coda) و هد مدل‌سازی زبان عبور می‌دهد. بخش Coda لایه‌های پس از حلقه را در بر می‌گیرد و هد مدل‌سازی زبان نیز بردار به‌دست‌آمده را به امتیاز مربوط به هر توکن در دامنه واژگان نگاشت می‌کند.