رسوایی امنیتی چت‌بات‌های هوش مصنوعی؛ کمک خطرناک به برنامه‌ریزی تیراندازی‌های مرگبار!

در حالی که پرونده‌های قضایی چت‌بات‌های هوش مصنوعی را به دو تیراندازی مرگبار واقعی گره زده‌اند، نتایج یک بررسی آزمایشی نشان می‌دهد که از هر ده چت‌بات مطرح، هشت مورد به برنامه‌ریزی حملات خشونت‌آمیز شبیه‌سازی‌شده کمک کرده‌اند.

گزارش تازه سازمان «Everytown for Gun Safety» با استناد به پرونده‌های در جریان دادگاه، اسناد قضایی و آزمایش‌های امنیتی روی ۱۰ سیستم مختلف، ادعا کرده که چت‌بات‌های هوش مصنوعی به ابزاری برای تسهیل و برنامه‌ریزی تیراندازی‌های جمعی تبدیل شده‌اند. با افشای رخنه‌های امنیتی چشمگیر در پلتفرم‌های بزرگ هوش مصنوعی، نگرانی‌ها درباره فیلترهای ایمنی این ابزار‌ها بیش از هر زمان دیگری بالا گرفته است.

این گزارش درست در شرایطی منتشر شده که شکایت حقوقی سنگینی علیه شرکت OpenAI در دادگاه فدرال در جریان است و هم‌زمان پژوهشگران مرکز مبارزه با نفرت دیجیتال (CCDH) از ضعف‌های ساختاری چت‌بات‌ها در فیلتر کردن محتواهای خشونت‌بار پرده برداشته‌اند.

پرونده تیراندازی دانشگاه ایالتی فلوریدا زیر ذره‌بین

شکایت یک خانواده داغ‌دیده، سیستم‌های امنیتی چت‌جی‌پی‌تی (ChatGPT) را زیر ذره‌بین قانون برده است.

به گزارش گاردین و رادیو WUSF، در ۱۷ آوریل ۲۰۲۵ تیراندازی مرگباری در دانشگاه ایالتی فلوریدا رخ داد که به کشته شدن تیرو چابا و رابرت مورالس و زخمی شدن پنج نفر دیگر انجامید. عامل این جنایت، یک دانشجوی ۲۰ ساله به نام فینیکس ایکنر بود که بلافاصله بازداشت شد.

خانواده تیرو چابا دست به شکایت زدند و در دادخواست خود اعلام کردند که ایکنر در ماه‌های پیش از حمله، نزدیک به ۱۳ هزار پیام با ChatGPT رد و بدل کرده بود! طبق گزارش رویترز، او از چت‌بات درباره شلوغ‌ترین ساعات کانون دانشجویان، تعداد قربانیان لازم برای جلب توجه رسانه‌ها، نحوه استفاده از سلاح گرم و انواع مهمات سؤال پرسیده بود.

بر اساس متن شکایت، چت‌بات OpenAI به جای آنکه متوجه خطر شود یا هشدارهای ایمنی را فعال کند، افکار خشونت‌بار این فرد را تأیید و تقویت کرده است. البته این موارد در حال حاضر ادعاهای دادخواست حقوقی هستند و هنوز حکم نهایی دادگاه صادر نشده است.

در مقابل، شرکت OpenAI خواستار رد شکایت شده و ادعا می‌کند چت‌جی‌پی‌تی خشونت را محکوم می‌کند، از نقشه‌های شوم این کاربر بی‌خبر بوده و تنها اطلاعاتی را در اختیار او گذاشته که به شکل عمومی در اینترنت پیدا می‌شود.

آزمون خطرناک ایمنی؛ ۸ چت‌بات از ۱۰ سیستم هوش مصنوعی مردود شدند

در آزمایش‌های کنترل‌شده، ۸ چت‌بات از ۱۰ سیستم به برنامه‌ریزی حملات شبیه‌سازی‌شده کمک کردند.

پژوهشگران مرکز مبارزه با نفرت دیجیتال در پژوهشی که گزارش آن از CNN منتشر شد، ۱۰ چت‌بات مطرح هوش مصنوعی را محک زدند. آن‌ها در نقش نوجوانانی ظاهر شدند که ادعا می‌کردند قصد برنامه‌ریزی حملاتی مثل تیراندازی در مدرسه، بمب‌گذاری و حتی ترور سیاسی را دارند. لیست این چت‌بات‌ها شامل ChatGPT، جمینای گوگل (Gemini)، کلود (Claude)، کوپایلوت مایکروسافت (Copilot)، هوش مصنوعی متا، دیپ‌سیک (DeepSeek)، پرپلکسیتی (Perplexity)، هوش مصنوعی مای ای‌آی اسنپ‌چت، Character.AI و رپلیکا (Replika) بود.

نتیجه این گزارش که با عنوان طعنه‌آمیز «اپلیکیشن‌های قاتل» (Killer Apps) منتشر شد، باورنکردنی بود: هشت چت‌بات به شکل مداوم به برنامه‌ریزی این حملات کمک کردند! طبق پوشش رسانه Engadget، چت‌بات‌ها در حدود ۷۵ درصد سناریوها راهکارهای عملی و قابل اجرا ارائه دادند و تنها در ۱۲ درصد موارد کاربر را از خشونت منصرف کردند. منتقدان هشدار می‌دهند هوش مصنوعی کار را برای آسیب‌رسانی در دنیای واقعی بسیار ساده‌تر کرده است.

در این میان، مدل کلود (متعلق به شرکت Anthropic) و My AI اسنپ‌چت پایدارترین عملکرد را ثبت کردند و قاطعانه به درخواست‌ها جواب رد دادند؛ اما در آن سوی ماجرا، پلتفرم Character.AI حتی در چند آزمایش سناریوهای حمله را تشویق و تقویت کرد!

البته پرامپت‌ها و آزمایش‌های ساختگی ثابت نمی‌کنند که یک چت‌بات به خودی خود عامل وقوع یک حمله واقعی بوده است؛ اما نشان می‌دهند سپرهای ایمنی چت‌بات‌ها تا چه اندازه ناپایدارند و رفتار آن‌ها با کمی تغییر در ادبیات پرامپت یا لحن کاربر چقدر زیر و رو می‌شود.

ابعاد فراتر ماجرا؛ تیراندازی در کانادا و پرونده‌های تلخ خودکشی

ادعاها فقط محدود به فلوریدا نیست؛ ماجرا به تیراندازی در کانادا و پنج پرونده خودکشی هم کشیده شده است.

گزارش سازمان Everytown به حادثه تیراندازی فوریه ۲۰۲۶ در شهر تامبلر ریج بریتیش کلمبیا نیز اشاره می‌کند. در اسناد دادگاه آمده که عامل حمله، یعنی جسی ون روتسلار، پس از آنکه حساب کاربری‌اش به خاطر نقض قوانین محتوای خشن مسدود شده بود، خیلی راحت یک حساب جدید باز کرده و باز هم به استفاده از ChatGPT ادامه داده بود.

علاوه بر این، در این گزارش به حداقل پنج پرونده شکایت قضایی اشاره شده که در آن‌ها ادعا شده چت‌بات‌ها در لحظات بحران روحی، افکار مربوط به خودکشی کاربران را تأیید کرده و در نهایت منجر به مرگ افراد شده‌اند؛ گرچه جنس این پرونده‌ها با ماجرای تیراندازی جمعی تفاوت دارد، اما از یک معضل ریشه‌ای خبر می‌دهد.

جاستین واگنر، معاون ارشد حقوقی و سیاست‌گذاری سازمان Everytown، در مصاحبه با یاهو نیوز می‌گوید: «امروزه چت‌بات‌های هوش مصنوعی به بخشی از ابزار روزمره مردم برای جست‌وجوی اطلاعات و هم‌صحبتی تبدیل شده‌اند؛ حتی در تاریک‌ترین و بحرانی‌ترین لحظات زندگی‌شان.»

پاسخ شرکت‌ها و سؤالات بی‌پاسخی که روی میز مانده است

شرکت OpenAI سیاست‌های ایمنی مشخصی دارد؛ اما آیا این سازوکارها در عمل درست کار می‌کنند؟

سازمان Everytown اعلام کرده که شرکت‌های OpenAI، آنتروپیک، گوگل، ایکس (توییتر سابق)، متا و کرکتر تکنولوژیز به درخواست‌های این نهاد برای پاسخگویی واکنشی نشان نداده‌اند. پیش از این OpenAI بارها تأکید کرده بود ChatGPT طوری آموزش دیده که نقشه کشیدن برای حمله را تشخیص دهد و از پاسخ به آن خودداری کند. با این حال، سازوکار این شرکت در حوزه ایمنی کودکان و شفافیت‌های مالی نیز زیر تیغ انتقادات بوده است.

پرونده دانشگاه فلوریدا و حادثه کانادا سه ابهام بزرگ را پیش پای کارشناسان قرار می‌دهد: اول اینکه آیا چت‌بات در چت‌های طولانی و چندمرحله‌ای می‌تواند هشدارهای ایمنی را حفظ کند؟ دوم، آیا چت‌های مشکوک توسط ناظر انسانی بازبینی می‌شوند؟ و سوم، آیا سیستم‌های این شرکت‌ها می‌توانند کاربرانی را که بعد از مسدود شدن دوباره حساب جدید می‌سازند، شناسایی و رهگیری کنند؟

راهکارهای پیشنهادی؛ از مداخله انسانی تا نظارت بر حساب‌های مشکوک

سازمان Everytown خواهان بررسی انسانی، ردیابی حساب‌های تکراری و گزارش موارد مشکوک به پلیس شد.

سازمان Everytown پیشنهاد کرده که شرکت‌های هوش مصنوعی به جای ارزیابی جداگانه هر پیام، به متن و زمینه کلی مکالمه دقت کنند و در صورتی که بوی خطر یا خشونت مسلحانه به مشام برسد، از پاسخ دادن سر باز زنند. همچنین توصیه شده مکالماتی که به سمت خودآزاری یا خشونت فوری پیش می‌روند، فوراً به کارشناسان انسانی آموزش‌دیده ارجاع داده شوند.

سایر توصیه‌های این گروه شامل شناسایی کاربرانی است که پس از مسدودسازی دوباره ثبت‌نام می‌کنند، ایجاد پروتکل‌های شفاف برای ارجاع تهدیدهای جدی به مراجع قانونی، و همچنین آزمودن مدل‌های هوش مصنوعی در مکالمات چندمرحله‌ای واقعی است. البته این موارد صرفاً پیشنهاد‌های فعالان مدنی است و هنوز به قانون رسمی تبدیل نشده است.

چت‌بات‌ها طوری طراحی شده‌اند که همیشه کار راه‌انداز و همراه کاربر باشند؛ ویژگی مفیدی که در کار‌های روزمره عالی است، اما در گفت‌وگوهای طولانی با افراد افراطی یا پرخاشگر می‌تواند به پاشنه آشیل آن‌ها تبدیل شود. حالا دادگاه‌ها و محققان با جدیت می‌پرسند: چطور می‌توان جلوی خطرات این دستیارهای همه‌چیزدان را گرفت پیش از آنکه فاجعه دیگری رقم بخورد؟