پژوهشگران هشدار دادند: مدل‌های هوش مصنوعی آلوده تا ۹۵ درصد از داده‌های حساس را سرقت می‌کنند

پژوهشگران گروه هوش مصنوعی گفت‌وگومحور در دانشگاه چینهوا نوعی حمله به زنجیره تأمین را علیه مدل‌های زبانی وزن‌باز به نمایش گذاشته‌اند. در این سازوکار، منتشرکننده مدل می‌تواند پیش از انتشار عمومی، یک درِ پشتی (بک‌دور) درون مدل قرار دهد، منتظر بماند تا سازمانی دیگر این نسخه پایه (چک‌پوینت) را با جفت‌های اختصاصی «پرامپت و پاسخ» فاین‌تیون کند و در نهایت، پرامپت‌های خصوصی آن سازمان را صرفاً با ارسال درخواست از طریق یک API معمولی استخراج کند. البته نتایج این مقاله پژوهشی بر پایه آزمایش‌های کنترل‌شده به دست آمده است و هنوز شواهدی از وقوع چنین حملاتی در سامانه‌های عملیاتی دنیای واقعی ثبت نشده است.

در آزمایش‌های انجام‌شده روی مجموعه‌داده‌های پایین‌دستی با ۵٬۰۰۰ نمونه، این حمله توانست بدون هیچ‌گونه آگاهی قبلی از داده‌های خصوصی، تا ۷۶٫۳ درصد از پرامپت‌های مرحله فاین‌تیون را به‌طور کامل بازیابی کند. همچنین در شرایطی که مهاجم کلمات آغازین احتمالی این پرامپت‌ها را می‌دانست، نرخ موفقیت بازیابی به ۹۴٫۹ درصد رسید. منظور از «بازیابی کامل» این است که متن تولیدشده توسط مدل، دقیقاً و کلمه‌به‌کلمه با پرامپت آموزشی اصلی مطابقت داشته است.

مدل تهدید به زبان ساده

اجرای موفق این حمله به ۴ شرط اساسی وابسته است که منتشرکننده مدل را در موقعیتی ممتاز و قدرتمند قرار می‌دهد:

• مهاجم بتواند نسخه پایه (چک‌پوینت) مدل را پیش از توزیع و انتشار عمومی، آموزش دهد یا دستکاری کند.
• تیم پایین‌دستی در فرآیند فاین‌تیون مدل، میزان خطا (Loss) را روی توکن‌های پرامپت کاربر نیز محاسبه کند.
• مهاجم بتواند درخواست‌های متعددی را به مدل بهینه‌سازی‌شده ارسال کند که معمولاً از طریق API عمومی یا درگاه وب مدل انجام می‌شود.
• محرک (تریگر) کاشته‌شده در مدل، در طول فرآیند آموزش و فاین‌تیون دوام بیاورد و همچنان خروجی مدل را تحت تأثیر قرار دهد.

بنابراین، این حمله سازمان‌هایی را هدف می‌گیرد که چک‌پوینت‌های هوش مصنوعی را از منابع نامعتبر دریافت می‌کنند، آن‌ها را با داده‌های حساس خود برای اهداف خاص بهینه‌سازی می‌کنند و سپس خروجی را در قالب یک درگاه پاسخگویی (اندپوینت استنتاج) در دسترس قرار می‌دهند. نکته قابل توجه این است که مهاجم برای سرقت این اطلاعات، نه به وزن‌های نهایی مدل شخصی‌سازی‌شده نیازی دارد و نه به دسترسی به گرادیان.

چرا پرامپت‌های خصوصی تا این حد ارزشمند هستند؟

هدف اصلی این سرقت، بخش پرامپت‌های کاربران در مجموعه‌داده‌های فاین‌تیون است؛ مواردی مانند تیکت‌های پشتیبانی مشتریان، سؤالات و پرونده‌های پزشکی، پیش‌نویس‌های حقوقی، دستورالعمل‌های محرمانه ایجنت‌ها، درخواست‌های مالی و سایر داده‌های دست‌چین‌شده سازمانی. چنین پرامپت‌هایی معمولاً حاوی اطلاعات محرمانه تجاری هستند، فرآیندهای داخلی شرکت‌ها را فاش می‌کنند یا حاصل ماه‌ها تلاش پرهزینه برای جمع‌آوری و پالایش داده‌ها به شمار می‌روند.