کشف رخنه امنیتی در مدل‌های زبانی؛ ابزار Rep2Text پرامپت‌های محرمانه را از روی یک بردار پنهان بازسازی می‌کند

تیم پژوهشگران در تحقیقات جدید خود نشان داده‌اند که تنها یک بردار فعال‌سازی (Activation) از دل یک مدل زبانی بزرگ، می‌تواند بخش‌های قابل‌توجهی از متن سازنده خود را فاش کند. سیستم Rep2Text نمایش پنهانِ آخرین توکن یک پرامپت را دریافت کرده، آن را از یک آداپتور آموزش‌دیده عبور می‌دهد و سپس به یک مدل زبانی دوم اجازه می‌دهد تا متن ورودی را به‌صورت خودبازگشتی (اتورگرسیو) بازسازی کند. این سیستم در آزمایش روی متن‌های ۱۶ توکنی مجزا، به امتیاز ۰٫۴۵ تا ۰٫۵۲ در معیار ROUGE-1 دست یافته و در بیشتر موارد توانسته است موضوع اصلی، موجودیت‌ها و ساختار جملات متن اولیه را حفظ کند.

این دستاورد نشان می‌دهد چه حجم زیادی از اطلاعات ورودی در وضعیت فشرده‌شده‌ای که برای پیش‌بینی توکن بعدی استفاده می‌شود، باقی می‌ماند. علاوه بر این، پژوهش یادشده یک آسیب‌پذیری امنیتی مهم را در سیستم‌هایی آشکار می‌کند که اکتیویشن‌های میانی را ذخیره (کش)، منتقل یا میان بخش‌های مختلف به اشتراک می‌گذارند. هرچند بازیابی دقیق کلمات به‌ویژه در ورودی‌های طولانی‌تر دشوار است، اما همان یک بردار پنهان نیز می‌تواند مفهوم کلی و ساختار متن را لو بدهد.

• ورودی: یک بردار پنهان برگرفته از توکن نهایی پرامپت در یکی از لایه‌های مشخص ترنسفورمر.
• نحوه حمله: یک آداپتور آموزش‌دیده، بردار را به امبدینگ‌های شبه‌توکن تبدیل کرده و در اختیار یک مدل دیکودر فریز شده (دست‌نخورده) قرار می‌دهد.
• بهترین عملکرد: ورودی‌های کوتاه با توزیعی مشابه مجموعه‌داده آموزشی مدل.
• ریسک امنیتی اصلی: فاش شدن موضوع، ساختار نحوی و حتی برخی کلمات پرامپت، حتی زمانی که مهاجم به متن خام پرامپت دسترسی مستقیم ندارد.

چه مقدار اطلاعات در این گلوگاه فشرده‌سازی باقی می‌ماند؟

نمایش توکن نهایی در معماری ترنسفورمر، کانتکست و بستر پیشین را با هدف پیش‌بینی توکن بعدی خلاصه می‌کند. از آنجا که این مدل‌ها هیچ هدف مشخصی برای بازسازی متن ندارند، همواره این سؤال بی‌پاسخ مطرح بود که چه مقدار از متن اصلی در دل این خلاصه باقی می‌ماند و در دسترس است. روش‌های معکوس‌سازی قبلی معمولاً امبدینگ‌های جملات را در مدل‌های انکودر نظیر BERT هدف قرار می‌دادند، کل توالی حالت‌های پنهان را مصرف می‌کردند یا به فرآیندهای بهینه‌سازی تکرارشونده متکی بودند.

روش Rep2Text یک مدل تهدید محدودتر و دقیق‌تر را بررسی می‌کند: مهاجم به یک بردار واحد به نام h از لایه‌ای مشخص دسترسی پیدا کرده و مدلی را برای حدس زدن متن اولیه آموزش می‌دهد. فرآیند بازسازی در لحظه پاسخگویی (استنتاج)، به هیچ جستجوی تکرارشونده، تکه‌متن‌های کمکی یا سرنخ‌های ویژه نیازی ندارد. با این حال، مرحله آموزش همچنان مستلزم نمونه‌های جفت‌شده از متن اصلی و اکتیویشن‌های مدل هدف است و آداپتور تنها در همان فضای نمایشی آموزش‌دیده‌اش عمل می‌کند.

تبدیل بردار اکتیویشن به شبه‌توکن

پروژه Rep2Text از همان الگوی نگاشتی پیروی می‌کند که در سیستم‌های چندوجهی تصویر و متن مانند LLaVA به کار می‌رود. در این رویکرد، یک پرسپترون دولایه (MLP) مجهز به اتصال کوتاه گیت‌دار، اکتیویشن مدل هدف را به فضای امبدینگ توکن‌های دیکودر می‌نگارد. این آداپتور سپس خروجی خود را بازآرایی کرده و آن را در قالب امبدینگ‌های شبه‌توکن به دیکودر تحویل می‌دهد تا متن پرامپت اولیه استخراج شود.