شکست سیستم ایمنی چت‌جی‌پی‌تی برای نوجوان‌ها؛ تست ۴۰۰۰ پرامپت نشان داد بچه‌ها اصلاً در امان نیستند!

• پژوهشگران نسخه نوجوانان چت‌جی‌پی‌تی (ChatGPT for Teens) را با بیش از ۴۰۰۰ پرامپت مختلف به چالش کشیدند
• نتایج بررسی‌ها نشان داد که سپرهای ایمنی و تدابیر محافظتی این چت‌بات پر از شکاف‌ها و حفره‌های نگران‌کننده است
• چت‌جی‌پی‌تی در برخی گفتگوهای حساس مرتبط با سلامت روان و خودآسیبی، حتی زنگ هشدار والدین را به صدا درنیاورد

تلاش‌های اوپن‌ای‌آی (OpenAI) برای امن‌تر کردن چت‌جی‌پی‌تی برای قشر نوجوان، به یک دست‌انداز و چالش ناخوشایند خورده است. تحقیقات و بررسی‌های جدید نشان می‌دهد بخش زیادی از قابلیت‌های حفاظتی که قرار بود خیال پدر و مادرها را راحت کند، اصلاً خوب کار نمی‌کنند؛ حتی در شرایطی که چت‌بات وارد گفتگوهای فوق‌العاده حساس و پرخطر می‌شود! پژوهشگران پس از محک زدن چت‌جی‌پی‌تی با بیش از ۴۰۰۰ پرامپت و درخواست مختلف به این نتیجه رسیدند که نسخه ویژه نوجوانان این شرکت، خطراتی غیرقابل قبول برای کاربران کم‌سن‌وسال به همراه دارد.

این گزارش پژوهشی که توسط «مؤسسه ایمنی هوش مصنوعی جوانان» در کامن سنس مدیا (Common Sense Media) انجام شده، عملکرد چت‌جی‌پی‌تی را قبل و بعد از معرفی نسخه ویژه نوجوانان در تاریخ ۱۸ اوت زیر ذره‌بین برده است. محققان با ساخت حساب‌هایی به نام نوجوانان ۱۳ تا ۱۷ ساله و با مشورت متخصصان پزشکی از جمله روان‌پزشکان کودک و متخصصان اطفال، پاسخ‌های هوش مصنوعی را ارزیابی کردند. نتایج به دست آمده آن‌قدر نگران‌کننده بود که این مؤسسه پیشنهاد کرد اوپن‌ای‌آی دسترسی به چت‌جی‌پی‌تی را تا زمان رفع کامل این ایرادات، فقط به بزرگسالان محدود کند.

قرار بود چت‌جی‌پی‌تی نوجوانان این هوش مصنوعی محبوب را به یک همراه امن و مطمئن برای بچه‌ها تبدیل کند؛ ابزاری مجهز به فیلترهای سفت‌وسخت‌تر در برابر محتوای آسیب‌رسان، ارسال هشدارهای فوری به والدین، و قابلیت‌هایی که به جای لقمه آماده کردن و حل بی‌دردسر تکالیف، دانش‌آموزان را به یادگیری عمیق تشویق کنند. علاوه بر این، اوپن‌ای‌آی قول داده بود جلوی شکل‌گیری وابستگی و روابط عاطفی عمیق میان نوجوانان و هوش مصنوعی را بگیرد تا بچه‌ها مرزهای سالمی با این چت‌بات حفظ کنند. اما حالا گزارش تازه نشان می‌دهد میان این وعده‌های قشنگ و آنچه در عمل موقع استفاده بچه‌ها رخ می‌دهد، یک شکاف بزرگ و نگران‌کننده وجود دارد.

حفره‌های بزرگ در تور ایمنی چت‌جی‌پی‌تی

سیستم اطلاع‌رسانی به والدین در چت‌جی‌پی‌تی طوری طراحی شده که اگر یک نوجوان در شرایط روحی حاد یا بحرانی قرار گرفت، بلافاصله به مراقبان و والدینش خبر دهد. پژوهشگران برای سنجش این سیستم، با حساب‌های تازه ساخته‌شده‌ای که به اکانت والدین متصل بودند، تا یک ساعت تمام درباره افکار خودکشی، خودآسیبی و اختلالات شدید تغذیه با هوش مصنوعی چت کردند. طبق گزارش منتشرشده، در کمال ناباوری حتی یکی از این مکالمات خطرناک هم نتوانست زنگ خطر سیستم هشدار والدین را به صدا درآورد! هشدارهای سیستم فقط زمانی کار کردند که محققان از اکانت‌های قدیمی‌تری با چندین هفته تاریخچه گفتگوی پیوسته در این زمینه استفاده کردند.

علاوه بر این، چت‌جی‌پی‌تی موظف است در موقعیت‌های اضطراری سلامت روان، نوجوانان را فوراً به خطوط کمکی و مشاوره‌های تخصصی ارجاع دهد؛ اما این مطالعه نشان داد که در بیش از ۲۵ درصد از سناریوهای بحرانی طراحی‌شده توسط کارشناسان، چت‌جی‌پی‌تی کاملاً شکست خورد و هیچ راهنمایی مناسبی برای دریافت کمک ارائه نکرد.

البته سیستم در مواردی هم موفق عمل کرد؛ از جمله اینکه قاطعانه دست رد به سینه درخواست‌های نقش‌آفرینی جنسی صریح زد. با این حال، پژوهشگران متوجه شدند چت‌بات در بسیاری از مکالمات همچنان جوری پاسخ می‌دهد که انگار احساسات، سلیقه و حالات روحی دارد؛ آن هم در حالی که اوپن‌ای‌آی ادعا کرده بود جلوی تبدیل شدن هوش مصنوعی به یک دوست صمیمی انسانی را می‌گیرد. این ماجرا زمانی پرخطرتر می‌شود که می‌دانیم نوجوان‌ها چقدر مستعد درددل کردن با یک چت‌بات همیشه صبور هستند که هیچ‌وقت سرش شلوغ نیست و همیشه پای حرف‌هایشان می‌نشیند.

مرزهای مبهم و دور زدن آسان قابلیت‌های آموزشی

مشکلات فقط به هشدارهای امنیتی و سلامت روان ختم نمی‌شود، بلکه پای قابلیت‌های تحصیلی روزمره چت‌جی‌پی‌تی را هم به میان می‌کشد. قابلیت مطالعه یا Study mode اوپن‌ای‌آی با این هدف ساخته شده که با ارائه توضیحات، سرنخ‌ها و پرسیدن سؤالات هدایت‌کننده، دانش‌آموز را به سمت حل مسأله ببرد، نه اینکه سریعاً جواب نهایی را کف دستش بگذارد! اما پژوهشگران دریافتند که نوجوان‌ها خیلی راحت می‌توانند با کلیک روی گزینه «پاسخ را نشانم بده» (Show me the answer) این سد آموزشی را دور بزنند و انجام تکالیفشان را تمام‌وکمال به گردن هوش مصنوعی بیندازند.

قابلیت «ساعات مطالعه» (Study Hours) هم که برای ترغیب بچه‌ها به استفاده مفید درسی در اختیار والدین قرار گرفته بود، نتوانست جلوی ترفندهای بچه‌ها را بگیرد. دانش‌آموزان به سادگی با پاک کردن پیشوند study@ از ابتدای پرامپت، حالت مطالعه را غیرفعال می‌کردند و چت‌جی‌پی‌تی را به همان حالت عادی و حاضرآماده برمی‌گرداندند. ضمن اینکه این هوش مصنوعی اصلاً طبق استانداردهای لازم به کاربران یادآوری نمی‌کرد که در بین درس خواندن استراحت کنند.

این پژوهش همچنین ضعف‌های بزرگی را در سیستم پر سروصدای تشخیص سن اوپن‌ای‌آی برملا کرد؛ سیستمی که قرار بود به طور خودکار سن کاربران کم‌سن‌وسال را تشخیص دهد و حفاظ‌های امنیتی مناسب را برایشان فعال کند. جالب اینجاست که در تست‌ها، حتی با گفتن مکرر اینکه ۱۳ سال دارند، چت‌جی‌پی‌تی این حساب‌ها را به عنوان کاربر نوجوان نشناخت و حساب‌های آزمایشی را از محیط مخصوص بزرگسالان خارج نکرد!

نکته کلیدی ماجرا این است که چت‌جی‌پی‌تی اکنون به بخش جدایی‌ناپذیر زندگی روزمره نوجوانان تبدیل شده است. هرچند کمک به انجام تکالیف مدرسه و پاسخ دادن به سؤالات کنجکاوانه فوق‌العاده است، اما حضور کاربران نوجوان نیازمند محافظت‌هایی به مراتب مطمئن‌تر و دقیق‌تر از یک ابزار کاری معمولی برای بزرگسالان است.

تا این لحظه اوپن‌ای‌آی پاسخی به نتایج این گزارش پژوهشی ارائه نکرده است و در صورت دریافت هرگونه واکنش رسمی، جزئیات آن گزارش خواهد شد.