امنیت پرامپت در هوش مصنوعی؛ چرا توقف تمام حملات علیه LLM-ها غیرممکن است؟

اگر اخیراً ارائه‌ای درباره هوش مصنوعی دیده باشید، احتمالاً کلمه «گاردریل» (Guardrail) یا نرده‌های محافظ را زیاد شنیده‌اید. این یک تشبیه مناسب است: همان‌طور که بزرگراه‌های پرسرعت برای جلوگیری از تصادفات فاجعه‌بار به موانع فولادی نیاز دارند، مدل‌های زبانی بزرگ (LLM) نیز برای ایمن و قابل پیش‌بینی نگه‌داشتن تعاملات کاربران به امنیت پرامپت نیازمندند. اما نکته اینجاست که هیچ استاندارد ایمنی جهانی برای هوش مصنوعی وجود ندارد و هر شرکتی در حال ابداع قوانین خاص خود در حین حرکت است.

امنیت پرامپت در هوش مصنوعی دقیقاً چیست؟

مدل‌های LLM به دستورالعمل نیاز دارند و این دستورالعمل‌ها در قالب مهندسی پرامپت و امنیت پرامپت ارائه می‌شوند. مهندسی پرامپت زمانی است که سبک زبان و معیارهای کلی را که یک LLM باید از آن‌ها پیروی کند، تعیین می‌کنید. امنیت پرامپت به معنای ایجاد موانع و ساختار دستورالعمل‌هایی است که LLM را در برابر حملات مقاوم‌تر می‌سازد. 

برای مثال، چت‌باتی را در سایت یک گل‌فروشی در نظر بگیرید که قرار است تنها به پرسش‌هایی درباره گل‌ها پاسخ دهد. بخشی از مهندسی پرامپت این است که اطمینان حاصل شود LLM از لحن و سبک مناسب و متناسب با برند استفاده می‌کند.

شما قطعاً نمی‌خواهید سؤال کاربر به جای گل‌ها به پاسخ‌هایی درباره آرد ختم شود؛ چرا که این امر اتلاف وقت و منابع خواهد بود. شاید به نظر برسد ارائه اطلاعات کمی نادرست یا انحراف از پرامپت توسط یک LLM بی‌ضرر است، اما پیامدهای امنیتی آن می‌تواند جدی باشد.

بسته به نحوه استقرار یک LLM، ممکن است به اطلاعات محرمانه مانند اعتبارنامه‌های ورود کارمندان یا پایگاه‌های داده بک‌اند دسترسی داشته باشد. یک پرس‌وجوی مخرب به یک مدل ایمن‌نشده می‌تواند یک دستیار مفید را به یک نقض داده در حال وقوع تبدیل کند.

برای جلوگیری از این اتفاق، توسعه‌دهندگان مدل‌ها را به عنوان لوح‌های سفید رها نمی‌کنند. هنگامی که با یک ربات سازمانی چت می‌کنید، آن ربات تحت یک اسکریپت پنهان و سخت‌گیرانه به نام پرامپت سیستم فعالیت می‌کند؛ یک مجموعه دستورالعمل اصلی که در پس‌زمینه اجرا می‌شود و مشخص می‌کند ربات چه کارهایی می‌تواند انجام دهد، چگونه باید صحبت کند و چه موضوعاتی برای آن ممنوع است.

چت‌بات Garry متعلق به Windscribe VPN را در نظر بگیرید. Garry پیرامون پارامترهای مشخصی طراحی شده است: ارائه پشتیبانی مفید (و عمداً کنایه‌آمیز) برای VPN، در حالی که مکالمات را دقیقاً محدود به عیب‌یابی نگه می‌دارد. هر بار که پیامی به Garry ارسال می‌کنید، آن پرامپت سیستمی نامرئی در پس‌زمینه پیوست می‌شود تا پیش از اینکه مدل حتی یک کلمه تولید کند، شخصیت آن را شکل داده و مرزهایش را اعمال کند.

این ساختارهای پرامپت به عنوان اولین خط دفاعی در برابر حملات تزریق پرامپت (Prompt Injection) عمل می‌کنند؛ حملاتی که در آن‌ها کاربران تلاش می‌کنند قوانین اصلی را دور بزنند یا هوش مصنوعی را برای کنار گذاشتن گارد دفاعی خود فریب دهند. کلمه کلیدی در اینجا «مقاوم» است، نه شکست‌ناپذیر.

محدودیت‌های دفاع چندلایه در هوش مصنوعی

از آنجا که LLM-ها ذاتاً در تفکیک دستورات توسعه‌دهنده از ورودی کاربر مشکل دارند، حتی یک پرامپت سیستمی قدرتمند نیز در صورتی که حمله تزریقی شباهت زیادی به دستورات سطح سیستم داشته باشد، فریب می‌خورد. توسعه‌دهندگان گاردریل‌های اضافی را در کنار این پرامپت‌ها قرار می‌دهند، اما امنیت کامل پرامپت همچنان یک چالش حل‌نشده باقی مانده است.

شرکت‌ها در ساخت چت‌بات‌های مقاوم‌تر از طریق دفاع چندلایه بسیار بهتر عمل کرده‌اند. آن‌ها محدودیت‌هایی را در سطوح مختلف در مورد اینکه ربات به چه چیزی دسترسی دارد، از کدام پایگاه دانش استفاده می‌کند و چگونه به درخواست‌ها پاسخ می‌دهد، وضع می‌کنند. برخی از نمونه‌های دفاع چندلایه عبارتند از:

• نگهداری پرامپت‌های سیستمی در یک محیط ایزوله تا ورودی‌های کاربر نتوانند بر آن‌ها تأثیر بگذارند.
• اختصاص اولویت بالاتر به دستورات سیستمی.
• ایجاد سلسله‌مراتبی از منابع پرامپت که LLM هنگام برقراری ارتباط می‌تواند به آن‌ها استناد کند.
• فیلتر کردن و نظارت بر کلمات یا عبارات خاص و محدود کردن استفاده از آن‌ها.
• جلوگیری از دسترسی هوش مصنوعی به ابزارها یا اسناد محلی.
• محدود کردن هوش مصنوعی در ارسال لینک یا فایل.

امنیت پرامپت چندلایه، نفوذ مهاجمان با حملات ساده تزریق پرامپت را بسیار دشوارتر می‌کند، اما برخلاف یک پچ امنیتی سنتی، خطر را به طور کامل از بین نمی‌برد. 

یک سنگ متخلخل را در نظر بگیرید که آب می‌تواند از آن عبور کند. شما می‌توانید یکی از سوراخ‌های بی‌شمار را مسدود کنید، اما آب راه دیگری پیدا خواهد کرد. اگر سوراخ‌ها را یکی یکی در سطح میکروسکوپی مسدود کنید، هرگز نمی‌توانید همه آن‌ها را بپوشانید. روش‌های فعلی امنیت پرامپت نیز عملکرد مشابهی دارند: یک حمله راه خود را پیدا می‌کند، سپس برطرف می‌شود، اما مسیرهای حمله بی‌شمار دیگری به سادگی به دلیل پویایی سیستم‌هایی مانند LLM-ها در انتظار کشف شدن هستند.

سوءاستفاده از یک LLM محافظت‌شده به طور فزاینده‌ای دشوار می‌شود، اما هنوز هیچ راه‌حل امنیتی جامعی که ۱۰۰ درصد مواقع کارآمد باشد، وجود ندارد.

آیا باید نگران امنیت پرامپت باشید؟

اگر در حال ساخت یا استقرار یک چت‌بات مبتنی بر LLM در وب‌سایت خود هستید، بله، امنیت پرامپت باید یک اولویت اصلی باشد. اتکا به یک پرامپت ساده و اولیه برای در مسیر نگه داشتن یک ربات پشتیبانی ممکن است برای وظایف ابتدایی کافی به نظر برسد، اما گاردریل‌های ضعیف، برنامه شما را در برابر سوءاستفاده‌های تزریق پرامپت، نشت داده‌ها و آسیب شدید به اعتبار برند آسیب‌پذیر می‌کنند.

از سوی دیگر، اگر در زندگی روزمره خود صرفاً از چت‌بات‌های عمومی مانند Claude یا Gemini استفاده می‌کنید، نیازی به نگرانی شخصی درباره امنیت پرامپت ندارید. چت کردن با یک LLM به روشی «اشتباه»، حساب کاربری شما را به خطر نمی‌اندازد یا دستگاهتان را آلوده نمی‌کند. با این حال، این ابزارهای مصرف‌کننده روشی کم‌خطر برای بررسی نحوه عملکرد امنیت پرامپت ارائه می‌دهند. به عنوان مثال، ویژگی‌هایی مانند Gems در Google Gemini یا Custom GPTs در ChatGPT به شما امکان می‌دهند دستورالعمل‌های سفارشی تعریف کنید تا شخصیت مدل را برای وظایف خاص، مانند آموزش زبان یا تولید ایده، تنظیم کنید.

اگرچه تنظیم یک Gem از یک فرم بصری به جای پرامپت‌های سیستمی مبتنی بر کد (که توسعه‌دهندگان در پس‌زمینه می‌نویسند) استفاده می‌کند، اما دیدگاهی عملی از نحوه کنترل رفتار هوش مصنوعی توسط دستورالعمل‌های پنهان، و اینکه یک مدل تا چه حد راحت می‌تواند به خارج از مرزهای تعیین‌شده‌اش رانده شود، ارائه می‌دهد.

در نهایت، امنیت پرامپت موضوعی نیست که کاربران روزمره نیاز باشد بابت آن نگران باشند، اما درک آن نحوه تعامل شما با وب مدرن را تغییر می‌دهد. دفعه بعد که یک دستیار هوش مصنوعی در یک سایت به شما در بازنشانی رمز عبور کمک می‌کند، محصولی را پیشنهاد می‌دهد یا مشاوره عیب‌یابی کنایه‌آمیزی ارائه می‌کند، خواهید دانست که یک لایه کامل از دستورالعمل‌های پنهان در پشت پرده در حال اجراست و نبردی مداوم برای ایمن نگه داشتن آن دستورالعمل‌ها جریان دارد.

با ادغام بیشتر ابزارهای هوش مصنوعی در زندگی دیجیتال ما، محافظت از داده‌ها به یک مسئولیت مشترک تبدیل می‌شود. توسعه‌دهندگان باید به ساخت گاردریل‌های قوی‌تر پیرامون مدل‌های خود ادامه دهند، در حالی که کاربران می‌توانند بهداشت دیجیتال پایه را تمرین کنند. برای شروع، پیش از وارد کردن اطلاعات حساس شخصی در یک چت‌بات هوش مصنوعی دوباره فکر کنید و حساب‌های خود را با رمزهای عبور قوی و منحصربه‌فرد و یک مدیر رمز عبور قابل اعتماد ایمن نگه دارید. امنیت پرامپت ممکن است یک چالش فنی حل‌نشده باشد، اما عادت‌های هوشمندانه همیشه داده‌های شما را ایمن نگه می‌دارند.