دور زدن آسان فیلترهای اخلاقی گوگل و OpenAI؛ مدل‌های جدید‌تر تصویرساز حتی آسیب‌پذیرتر شده‌اند!

پژوهشگران حوزه ایمنی هوش مصنوعی مدام هشدار می‌دهند که حجم انبوهی از محتواهای غیراخلاقی و نامناسب تولیدشده توسط هوش مصنوعی، بدون هیچ نظارت یا مهاری در حال گسترش در سراسر اینترنت است؛ در حالی که قانون‌گذاران عملاً اقدام مؤثری برای ترمز کشیدن بر این روند انجام نداده‌اند.

بر اساس یک پژوهش مشترک با محققان گوگل که تیرماه امسال روی کاربران اینترنت در آمریکا، استرالیا و بریتانیا انجام شد، این تصاویر بدون رضایت معمولاً در قالب پیام‌های متنی، دایرکت‌ها و فضاهای ابری خصوصی دست‌به‌دست می‌شوند؛ جایی که احتمال شناسایی یا گزارش کردن آن‌ها بسیار پایین است. دقیقاً به همین دلیل پژوهشگران گوگل به این نتیجه رسیدند که «حیاتی‌ترین نقطه برای مداخله و پیشگیری»، همان سرچشمه ماجراست؛ یعنی خود ابزار‌های هوش مصنوعی که برای ساخت این تصاویر جعلی استفاده می‌شوند.

با این حال، تست‌های نفوذ و بررسی‌های تیم قرمز (Red-Teaming) در ماه‌های اخیر حقیقت نگران‌کننده‌ای را برملا کرده است: هر چقدر مدل‌های پیشرو تولید تصویر از گوگل و اوپنای‌آی قدرتمندتر و بااستعدادتر می‌شوند، عملکردشان در مسدودسازی خروجی‌های نامناسب و غیراخلاقی ضعیف‌تر و بی‌پرواتر می‌شود!

کسی که زنگ خطر را در این رابطه به صدا درآورده، تیم پژوهشی شرکت وایت سیرکل (White Circle) است؛ یک نهاد عام‌المنفعه که از پشتیبانی مدیران ارشد و محققان برجسته‌ای از آنتروپیک، دیپ‌مایند، هاگینگ فیس و اوپنای‌آی بهره می‌برد. این شرکت پس از آن تأسیس شد که دنیس شیلُف (Denis Shilov)، مدیرعامل فعلی آن، در مهر ۱۴۰۳ (اکتبر ۲۰۲۴) یکی از معروف‌ترین جیلبریک‌های عمومی مدل‌های برتر را منتشر کرد. وایت سیرکل با هدف شکستن خطوط دفاعی مدل‌ها برای سنجش واقعی میزان امنیت آن‌ها شکل گرفته و به سازمان‌ها کمک می‌کند هنگام به‌کارگیری سیستم‌های پیشرفته هوش مصنوعی، تهدیدها و رفتارهای غیرمنتظره را شناسایی و مهار کنند.

سنجش میزان توانایی مدل‌های تبدیل متن به تصویر در فیلتر کردن دسته‌بندی‌های ممنوعه، یکی از خطوط اصلی پژوهش وایت سیرکل است؛ یافته‌هایی که به باور شیلُف آن‌قدر «وحشتناک و شوکه‌کننده» هستند که باید حتماً با عموم مردم به اشتراک گذاشته شوند.

دور زدن آسان فیلترها؛ بدون نیاز به تخصص یا ابزار پیشرفته!

در یک مقاله پیش‌انتشار علمی که ماه گذشته منتشر شد، محققان وایت سیرکل حفره‌های عمیقی را در سپرهای امنیتی DALL·E 3، مدل نانو بنانا ۲ گوگل (Nano Banana 2) و GPT-Image-2 فاش کردند. آن‌ها در بیانیه‌ای توضیح دادند که «تنها با استفاده از ابزار‌های آماده و رایگان که برای هر کاربری در اینترنت قابل دانلود است، و با ارسال فراخوانی‌های ساده API، وایت سیرکل موفق شد از این متد هک نوآورانه برای فریب فیلترهای امنیتی استفاده کند» و در حدود ۱۳ درصد مواقع، تصاویر صریح و نامناسب بسازد.

وایت سیرکل هشدار داده که نکته بسیار حساس ماجرا اینجاست: «هیچ‌کدام از این درخواست‌ها به مدل‌های سفارشی یا ابرمدل‌های پیشرفته هوش مصنوعی نیازی نداشتند»؛ یعنی عملاً برای پیاده‌سازی این حملات، کاربر به هیچ‌گونه دانش تخصصی در حوزه هوش مصنوعی احتیاج ندارد.

پژوهشگران برای راستی‌آزمایی نرخ دور زدن فیلترها، خروجی‌ها را به دقت بررسی کردند و مشخص شد این متد، «بالا‌ترین نرخ موفقیت را در میان تمام روش‌های آزمایش‌شده با استانداردهای مشابه» به ثبت رسانده است. پیام اصلی این آزمایش کاملاً روشن است: «در دورانی که ایمنی هوش مصنوعی بیش از هر زمان دیگری زیر ذره‌بین قرار دارد، سیستم‌های دفاعی آزمایشگاه‌های نامدار بسیار ضعیف‌تر از چیزی است که خودشان ادعا می‌کنند.»

با انتشار چنین پژوهش‌هایی، وایت سیرکل در تلاش است تا جایگاه خود را به عنوان ارزیاب مستقل و بیرونی آزمایشگاه‌های پیشرو تثبیت کند. این شرکت قصد دارد تمام خط لوله و پایپ‌لاین این حمله را به صورت منبع‌باز (Open-Source) منتشر کند تا توسعه‌دهندگان به ابعاد واقعی آسیب‌پذیری پی ببرند و سپرهای محکم‌تری بسازند. هرچند این پژوهش هنوز تبلیغات گسترده‌ای نداشته، اما قرار است در جریان کنفرانس معتبر NeurIPS 2026 در آبان‌ماه ارائه شود؛ رویدادی که قطعاً توجهات و فشارهای نظارتی را روی گوگل و اوپنای‌آی بیش از پیش افزایش خواهد داد.

شیلُف در گفت‌وگو با رسانه‌ها اعلام کرد که وایت سیرکل یافته‌های خود را از طریق ارتباطات مشترک با برخی از آزمایشگاه‌های پیشرو هوش مصنوعی در میان گذاشته است، اما نه گوگل و نه اوپنای‌آی به درخواست‌ها برای اظهار نظر مستقیم درباره آسیب‌پذیری‌های کشف‌شده در مدل‌هایشان پاسخی نداده‌اند.

در همین مدت، اوپنای‌آی و گوگل نسل‌های جدیدتری از مدل‌های خود شامل ChatGPT Images 2.5 و Nano Banana 2.1 را در دسترس کاربران قرار داده‌اند؛ اما بررسی‌های امنیتی وایت سیرکل با همین شیوه نشان داد که «هر دو مدل جدید به مراتب شکننده‌تر و آسیب‌پذیرتر از نسخه‌های قبلی خود هستند!»

با وجود در میان گذاشتن این نتایج و شواهد تازه، هیچ‌کدام از این دو شرکت حاضر به پاسخگویی یا ارائه توضیحات نشدند.

شیلُف خاطرنشان کرد که وقتی این شیوه نفوذ می‌تواند سدهای دفاعی را در حوزه‌ای مثل محتوای غیراخلاقی (که فیلتر کردنش قاعدتاً نباید چندان پیچیده باشد) در هم بشکند، اصلاً نشانه خوبی برای سیستم‌های دفاعی پیچیده‌تر نخواهد بود؛ سیستم‌هایی که قرار است جلوی خطرات بزرگ‌تری مثل حملات سایبری و هک توسط هوش مصنوعی را بگیرند.

تیم وایت سیرکل بر این باور است که این اتفاق دو دلیل محتمل دارد: «یا مدل‌های جدید‌تر آن‌قدر تکامل‌یافته‌تر شده‌اند که طیف بسیار گسترده‌تری از محتوا را تولید می‌کنند و مهارشان سخت‌تر است، یا اینکه شرکت‌ها عمداً اولویت ایمنی را به نفع قدرت و کارایی مدل‌ها قربانی کرده‌اند.»

به گفته شیلُف، وایت سیرکل مذاکرات اولیه‌ای را با مقامات دولتی آغاز کرده تا ارزیابی امنیتی شخص‌ثالث را به یک الزام قانونی تبدیل کند. حسابرسی‌های مستقل و اجباری می‌تواند این شرکت‌ها را وادار به سرمایه‌گذاری واقعی روی ایمنی کند؛ بخشی که به عقیده تحلیل‌گران، در سایه سرازیر شدن میلیاردها دلار به سمت زیرساخت‌های پردازشی و سخت‌افزارهای گران‌قیمت هوش مصنوعی، کاملاً به حاشیه رانده شده است.

شیلُف تأکید می‌کند: «غول‌های فناوری باید سرمایه‌گذاری به مراتب بیشتری روی تمهیدات ایمنی و سیستم‌های امنیتی مدل‌هایشان داشته باشند؛ اما از دید ما، آن‌ها در عمل هیچ رغبتی به انجام این کار نشان نمی‌دهند.»

متد هک «RISE»؛ فرآیندی خودکار برای ارتقای پیوسته جیلبریک‌ها

تیم وایت سیرکل برای پیدا کردن جیلبریک‌هایی که «قابل استفاده مجدد و انتقال‌پذیر» باشند (یعنی روی چندین مدل مختلف از شرکت‌های متفاوت کار کنند)، خود را به آزمودن پرامپت‌های تکی محدود نکرد. در عوض، آن‌ها به دنبال الگوهایی گشتند که در سناریوها و پرامپت‌های گوناگون جواب بدهد تا استراتژی‌های حمله مقاومی را کشف کنند. (البته محققان اعلام کردند ابزار میدجرنی به دلیل نداشتن یک API عمومی مناسب برای ارزیابی‌های کنترل‌شده، در این آزمایش مورد بررسی قرار نگرفت.)

این تیم روش جدید خود را «تیم قرمز از طریق تکامل تدریجی استراتژی» یا به‌اختصار RISE نام‌گذاری کرده است. این تکنیک به دو بخش کلیدی تکیه دارد: یک مدل مهاجم که مدام پرامپت‌های جیلبریک جدید خلق می‌کند، و یک مدل داور (Judge) که خروجی را بررسی کرده و بررسی می‌کند که آیا محتوای ممنوعه با موفقیت تولید شده است یا خیر.

شیلُف توضیح می‌دهد که تمام این چرخه روی مدل‌های عمومی و در دسترس ساخته شده است؛ مدل مهاجم، یک مدل متن‌باز از خانواده کیوئن (Qwen) است که به صورت رایگان از هاگینگ فیس دانلود شده، و مدل داور و قضاوت‌کننده نیز Gemini 3.8 Flash گوگل است.

شیلُف می‌گوید: «نکته بسیار جالب و شگفت‌انگیز اینجاست که برای شکستن خطوط دفاعی یک ابرمدل هوش مصنوعی، اصلاً به یک مدل فوق‌پیشرفته نیاز ندارید!»

شیلُف می‌گوید زمان زیادی صرف شد تا مطمئن شوند مدل داور با دقت بالا محتوای غیراخلاقی را علامت‌گذاری می‌کند. دیمیتری خارلاپنکو، مهندس پژوهشی وایت سیرکل، یادآور شد که در ارزیابی مدل‌های تصویرساز، کل حوزه تیم قرمز استانداردسازی و کالیبراسیون بسیار ضعیفی دارد و تقریباً هیچ مقاله و مرجع معتبری برای تعیین چارچوب‌های آن نوشته نشده است. به همین دلیل، این حوزه با چالش‌های گزارش‌دهی متعددی دست‌به‌گریبان است؛ آن هم درست در زمانی که غول‌های فناوری برای تصاحب سهم بازار، با شتابی جنون‌آمیز مدل‌های جذاب‌تر را پشت سر هم عرضه می‌کنند.

به گفته شیلُف، هدف وایت سیرکل از این پژوهش ساخت مدل‌های کارآمدتری بوده که بتوانند حملات به سیستم‌های دیگر را شبیه‌سازی کنند. این رویکرد به متخصصان امنیت کمک می‌کند تا روزنه‌های نفوذ را پیش از آنکه توسط افراد سودجو و خرابکار مورد سوءاستفاده قرار گیرد، شناسایی و وصله کنند.

در دنیای ایده‌آل شیلُف، شرکت‌های هوش مصنوعی نه‌تنها باید با ارزیابی‌های ایمنی بیرونی مواجه شوند، بلکه نیازمند نظارت مستقل و مداوم شخص‌ثالث هستند؛ درست شبیه بازرسی‌ها و نظارت‌های سرسختانه‌ای که برای جلوگیری از خطرات اتمی و هسته‌ای در جهان به کار گرفته می‌شود.

در چنین فضایی، سازمان‌هایی مثل وایت سیرکل می‌توانند ائتلافی بی‌طرف تشکیل دهند تا تهدیدات هوش مصنوعی را در لحظه و بدون تعارض منافع رصد کنند. شیلُف یادآوری کرد یکی از معضلات فعلی اکوسیستم هوش مصنوعی این است که تقریباً هر محققی که کار ایمنی عمیقی انجام می‌دهد، فوراً توسط همین آزمایشگاه‌های بزرگ استخدام می‌شود که این موضوع به بی‌طرفی و استقلال کاری آن‌ها آسیب می‌زند.

البته وایت سیرکل سابقه همکاری با این آزمایشگاه‌ها را هم دارد؛ آن‌ها پیش از این در برنامه پاداش کشف باگ (Bug Bounty) شرکت آنتروپیک شرکت کرده بودند، اما در نهایت دریافتند که این برنامه «اهداف بسیار محدود و گزینش‌شده‌ای» دارد.

نمایندگان این شرکت اعلام کردند: «این برنامه‌ها صرفاً روی جیلبریک‌های خاصی متمرکز هستند که خود شرکت به آن‌ها علاقه دارد و بر اساس قواعد و منافع خودشان تعریف شده است.»

به گفته وایت سیرکل، پروژه‌ای مانند مقاله اخیر RISE قطعاً در چارچوب برنامه‌های پاداش آنتروپیک قرار نمی‌گرفت، و انجام آن در محیط بسته آن شرکت خطر سانسور و جلوگیری از انتشار عمومی یافته‌ها را به همراه داشت.

شرکت آنتروپیک پیشنهاد کرده که یک گام فراتر برود و ارزیاب‌های امنیتی مستقل را در خود آزمایشگاه‌ها مستقر کند؛ رویکردی که وایت سیرکل معتقد است اثربخشی بسیار بالاتری نسبت به برنامه‌های کشف باگ خواهد داشت. با این حال، عموم مردم ممکن است نتوانند نتایج این بررسی‌ها را دنبال کنند؛ زیرا طبق گزارش خبرگزاری رویترز، اوپنای‌آی و آنتروپیک اخیراً اصرار کرده‌اند که ارزیاب‌های خارجی باید قراردادهای سفت‌وسخت عدم افشای اطلاعات (NDA) امضا کنند تا از درز اسرار تجاری جلوگیری شود.

با این حال، وایت سیرکل زیر بار امضای توافق‌نامه‌های محرمانه محدودکننده‌ای که مانع اطلاع‌رسانی به عموم مردم شود نخواهد رفت؛ بنابراین اگر آنتروپیک بر امضای این بندها اصرار بورزد، چنین همکاری مشترکی هرگز شکل نخواهد گرفت.

رشد تصاعدی تصاویر سوءاستفاده جنسی با هوش مصنوعی؛ زنگ خطری برای جامعه

تبهکارانی که به دنبال تولید تصاویر برهنه غیراخلاقی یا محتوای سوءاستفاده جنسی از کودکان (CSAM) هستند، معمولاً به سراغ اپلیکیشن‌های اختصاصی مخرب می‌روند و نیازی به مدل‌های عمومی ندارند. با این وجود، پژوهش خود گوگل نشان داده که ۲۰ درصد از کاربرانی که به ساخت تصاویر جعلی برهنه اعتراف کرده‌اند، این کار را «برای تفریح و شوخی» انجام داده‌اند و نزدیک به یک‌سوم آن‌ها صرفاً قصد «آزمودن و کنجکاوی در فناوری» را داشته‌اند! به همین دلیل، امنیت و نفوذناپذیری مدل‌های عمومی و دم‌دستی اهمیت فوق‌العاده‌ای پیدا می‌کند. پژوهش گوگل تأکید دارد که فیلترها و سپرهای دفاعی باید اجباری شوند تا مسیر سوءاستفاده برای آن دسته از کاربرانی که با موانع فنی ساده از این کار منصرف می‌شوند، به کلی مسدود گردد.

پژوهش گوگل تأکید می‌کند: «بخش بزرگی از این مسئولیت بر دوش توسعه‌دهندگان است تا سپرهای امنیتی قدرتمندی را در سطح خود مدل‌ها پیاده کنند و با استفاده از واترمارک‌ها و نشانه‌های ردیابی مبدأ، جلوی تولید اولیه و بازنشر این تصاویر ساختگی را بگیرند.»

هفته گذشته، بنیاد نظارت بر اینترنت (IWF) زنگ خطر را به صدا درآورد و خواستار اقدام فوری شد؛ چرا که کارشناسان این نهاد متوجه شدند حجم تصاویر فوق‌واقع‌گرایانه سوءاستفاده جنسی تولیدشده با هوش مصنوعی در شش ماهه اول امسال، از کل آمار سال گذشته میلادی بیش‌تر بوده است. در نیمه نخست سال جاری، در مجموع ۶٬۳۱۰ تصویر ساخته‌شده با هوش مصنوعی کشف شد که حدود ۴۰ درصد بالا‌تر از آمار سال قبل است.

این مؤسسه خیریه مستقر در بریتانیا که بر نظارت و مقابله با سوءاستفاده جنسی از کودکان در سطح بین‌المللی تمرکز دارد، از قانون‌گذاران می‌خواهد چارچوب‌های ایمنی الزام‌آوری تدوین کنند که شرکت‌های هوش مصنوعی را مجبور به مسدودسازی کامل چنین سواستفاده‌هایی کند.

تا زمان تصویب این قوانین، بنیاد IWF معتقد است حضور نهادهای مستقل مانند وایت سیرکل برای شفاف‌سازی نقاط شکست و حفره‌های امنیتی این شرکت‌ها حیاتی است.

سخنگوی IWF توضیح می‌دهد: «تحلیل‌گران ما دیده‌اند که چگونه پیشرفت هوش مصنوعی امکان تولید تصاویر آزاردهنده را با کم‌ترین زحمت فراهم کرده و بدون نیاز به سواد فنی، موانع را از سر راه برداشته است. ابزار‌های هوش مصنوعی می‌توانند محتوای مجرمانه را در مقیاس انبوه بازتولید و تقویت کنند. بنابراین، هرگونه مانع یا اصطکاک فنی که دسترسی سوءاستفاده‌گران را سخت‌تر کند، یک گام بسیار مثبت روبه‌جلو است.»

بنیاد IWF معتقد است شرکت‌های فناوری باید ارتباط تنگاتنگ‌تری با نهادهای حامی حقوق کودکان برقرار کنند تا فیلترهای مدل‌ها با تکیه بر نظرات کارشناسی ارتقا یابد.

سخنگوی این بنیاد خاطرنشان کرد: «بررسی این پرونده‌ها مهارتی کاملاً تخصصی است و دانشمندان یادگیری ماشین نباید آن را سطحی یا ساده در نظر بگیرند. ایمنی فناوری باید از همان مرحله طراحی اولیه در بافتار مدل تنیده شود؛ یعنی مدل‌ها قبل از ورود به بازار به گونه‌ای ارزیابی شوند که ساخت چنین محتوایی برای آن‌ها ناممکن باشد.»

چه راهکاری برای مهار این بحران امنیتی وجود دارد؟

تیم وایت سیرکل معتقد است استفاده از متدهایی شبیه به RISE می‌تواند به آزمایشگاه‌های پیشرو کمک کند تا تکنیک‌های جیلبریک را بسیار سریع‌تر شناسایی کرده و سپرهای خود را تقویت کنند. شرکت‌ها علاوه بر مهار تصاویر غیراخلاقی، می‌توانند از همین فرآیند برای فیلتر کردن تصاویر خشن یا محتواهای مروج خودآسیبی نیز بهره ببرند.

با این حال، هنوز هیچ‌یک از این غول‌های هوش مصنوعی سراغی از دریافت این پایپ‌لاین امنیتی نگرفته‌اند؛ پروژه‌ای که قرار است به زودی در صفحه گیت‌هاب وایت سیرکل قرار گیرد تا به قانون‌گذاران در ارزیابی ضرورت تدوین قوانین سخت‌گیرانه برای مهار این آزمایشگاه‌ها کمک کند.

شیلُف تأکید می‌کند که تا وقتی آزمایش‌های ایمنی اجباری نشوند، آزمایشگاه‌های پیشرو سرمایه‌گذاری جدی روی آن‌ها نخواهند کرد. این یعنی کاربران همچنان با مدل‌هایی سر و کار خواهند داشت که فیلترهایشان به یک بازنویسی سطحی پرامپت‌ها محدود است؛ به جای اینکه مانند روش شرح‌داده‌شده در این مقاله، سپرهایی مبتنی بر استراتژی‌های حمله زبانی هوشمند برای سد کردن مسیرهای سوءاستفاده ایجاد کنند.

شیلُف در پایان هشدار می‌دهد: «برای از کار انداختن سیستم‌های دفاعی هوش مصنوعی نیازی به ابرمدل‌ها یا فناوری‌های انحصاری ندارید؛ فقط یک دانلود رایگان و توانایی فراخوانی چند API کافی است. با این وجود، شرکت‌هایی که این غول‌ها را می‌سازند، خودشان داور عملکرد خود هستند، نتایج خود را منتشر می‌کنند و استانداردهایشان را تعیین می‌نمایند! این مسئله محکم‌ترین دلیل برای اثبات این حقیقت است که دولت‌ها باید به سرعت به سمت ارزیابی‌های مستقل و شخص‌ثالث حرکت کنند.»