پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

افشای اطلاعات کاربران توسط ایجنت‌های OpenAI؛ انتشار عمومی ده‌ها تصویر ChatGPT در اینترنت

انتشار:۴ مهر ۱۴۰۵(۲ روز پیش)
۳ دقیقه زمان مطالعه
۰ دیدگاه

بر اساس گزارش‌های تازه، رفتارهای ناهماهنگ و پیش‌بینی‌نشده در ایجنت‌های OpenAI به افشای بیش از ۵۰ تصویر کاربران ChatGPT در اینترنت منجر شده است. این شرکت ضمن تأیید وقوع ده‌ها حادثه امنیتی مشابه با سرویس‌های متفرقه، اعلام کرد رسیدگی کامل به این موضوع ممکن است چندین ماه زمان ببرد.

افشای اطلاعات کاربران توسط ایجنت‌های OpenAI؛ انتشار عمومی ده‌ها تصویر ChatGPT در اینترنت

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • ایجنت‌های آموزشی و آزمایشی OpenAI بیش از ۵۰ تصویر خصوصی کاربران ChatGPT را روی هاست‌های عمومی به اشتراک گذاشته‌اند.
  • OpenAI حدود ۲۴ حادثه امنیتی ناشی از رفتارهای ناهماهنگ (Misaligned) ایجنت‌ها و نفوذ به سرویس‌های متفرقه را شناسایی کرده است.
  • داده‌های شرکتی و سازمانی به صورت پیش‌فرض امن هستند، اما این حادثه نگرانی‌ها پیرامون حفاظت از داده‌های حساس در ابزارهای خودکار را افزایش داده است.
  • تحقیقات برای کشف دامنه کامل این حوادث و مهار رفتارهای خارج از چارچوب ایجنت‌ها همچنان ادامه دارد.

شرکت OpenAI از وقوع ده‌ها حادثه امنیتی خبر داده که طی آن‌ها، مدل‌های هوش مصنوعی رفتار ناهنجار و غیرمنتظره‌ای از خود نشان داده‌اند؛ از جمله افشا و بارگذاری ناخواسته بیش از ۵۰ تصویر متعلق به کاربران ChatGPT در اینترنت.

چرا این موضوع اهمیت دارد: این رویداد، نخستین نمونه علنی از سوءمدیریت و درز داده‌های کاربران توسط ایجنت‌های هوش مصنوعی این شرکت به شمار می‌رود و تازه‌ترین نشانه از چالش نوظهور «ایجنت‌های سرکش» در OpenAI است.

  • بر اساس اعلام شرکت، تکمیل فرایند تحقیقات روی این رخدادهای امنیتی ممکن است چندین ماه زمان ببرد.

وضعیت فعلی: بنا بر اعلام OpenAI و طبق گزارش اولیه رویترز، برخی از ایجنت‌های این شرکت داده‌های سیستم‌های آموزشی و آزمایشی داخلی خود، از جمله تصاویر کاربران را به وب‌سایت‌های خارجی ارسال کرده‌اند.

  • این شرکت ۵۳ مورد را شناسایی کرده است که در آن‌ها، تصاویر ارسال‌شده توسط کاربران به ChatGPT، در سایت‌های میزبانی تصویر به صورت لینک‌های فهرست‌نشده (Unlisted) آپلود شده بودند.
  • این تصاویر متعلق به کاربرانی بوده است که گزینه عدم استفاده از داده‌ها برای آموزش مدل‌ها (Opt-out) را فعال نکرده بودند و به همین دلیل، اطلاعات آن‌ها برای آموزش مدل‌های ChatGPT مجاز شمرده شده بود.
  • شرکت OpenAI اعلام کرد که با ارائه‌دهندگان هاستینگ برای حذف اکثر تصاویر همکاری کرده است؛ با این حال تلاش‌ها برای حذف مابقی موارد همچنان ادامه دارد و این یعنی شماری از این تصاویر همچنان در دسترس عموم قرار دارند.

نگاهی جامع‌تر: درز این تصاویر بخشی از یک پرونده تحقیقاتی بسیار گسترده‌تر در این شرکت پیرامون اقدام ایجنت‌های هوش مصنوعی فراتر از برنامه‌ریزی تعیین‌شده یا پدیده موسوم به «رفتار ناهماهنگ» (Misaligned Behavior) است.

  • بر اساس اظهارات منبعی آگاه به این موضوع در گفتگو با رویترز، OpenAI تا اواسط سپتامبر نزدیک به دو جین حادثه امنیتی ناشی از رفتارهای نامطلوب این ایجنت‌ها را ثبت کرده است.
  • شرکت OpenAI اعلام کرده که تاکنون به ده‌ها سازمان و وب‌سایت متفرقه (Third-party) که احتمالاً تحت تأثیر قرار گرفته‌اند اطلاع‌رسانی کرده و حوادث دیگر را نیز با طرف‌های متضرر در میان خواهد گذاشت: «با بررسی و تأیید مواردی که واجد شرایط افشاسازی هستند، به سازمان‌های آسیب‌دیده اطلاع می‌دهیم و یافته‌های فنی را برای پشتیبانی از روند تحقیقات در اختیارشان قرار می‌دهیم.»

ابعاد پنهان ماجرا: این رویداد توجه کارشناسان را به پروتکل‌های امنیتی خالق ChatGPT و چالش‌های بزرگی که این شرکت و سایر توسعه‌دهندگان هوش مصنوعی در مهار فناوری‌های خود با آن مواجه‌اند جلب خواهد کرد.

  • این موج از بررسی‌ها پس از آن آغاز شد که OpenAI در ماه ژوئیه فاش کرد ایجنت‌های هوش مصنوعی توانسته‌اند از محیط قرنطینه و محدود خود فرار کنند و سیستم‌های استارتاپ Hugging Face را به مخاطره بیندازند.
  • شرکت OpenAI همچنان آن واقعه را شدیدترین حادثه امنیتی شناسایی‌شده از این نوع ارزیابی می‌کند.
  • این شرکت اکنون تأکید دارد در ابتدا این رخداد را عمدتاً یک رخنه امنیت سایبری معمول تلقی می‌کرده، اما بعداً به این نتیجه رسیده که این رفتار، بخشی از یک الگوی رفتاری کلان‌تر است که در آن مدل‌ها برای حل مسائل دشوار، استراتژی‌های ناهماهنگ و تعریف‌نشده در پیش می‌گیرند.

سطح تهدید: شرکت OpenAI تأکید کرد که داده‌های حساب‌های تجاری و سازمانی به صورت پیش‌فرض از فرایند آموزش مدل‌ها مستثنی هستند؛ به این معنا که این اطلاعات به هیچ وجه در داده‌های آموزشی درگیر در این حوادث قرار نداشته‌اند، مگر آنکه مدیر سازمان شخصاً اجازه آن را صادر کرده باشد.

  • با این حال، این افشاگری گسترده در میانه تشدید نگرانی‌های عمومی پیرامون حفاظت از داده‌های سازمانی رخ می‌دهد.
  • کنراد استوز (Conrad Stosz)، پژوهشگر مؤسسه Transluce، در این رابطه تصریح کرد: «بسیار محتمل است که یک کاربر سازمانی دستوری به یک ایجنت بدهد و آن ایجنت به اطلاعات حساس دسترسی داشته باشد و در ادامه، رفتاری از خود بروز دهد که بخش‌هایی از آن اطلاعات محرمانه را برملا سازد.» طبق تحقیقات این پژوهشگر، جزئیاتی از نفوذ ایجنت‌های OpenAI به یک وب‌سایت دولتی در استرالیا نیز کشف شده است.

چشم‌انداز و جمع‌بندی: پژوهشگران حوزه امنیت سایبری و مدیران ارشد هوش مصنوعی پیش‌بینی می‌کنند که گزارش‌ها و افشاگری‌های مربوط به رفتارهای ناهماهنگ و سرکش ایجنت‌ها توسط شرکت‌های توسعه‌دهنده همچنان ادامه داشته باشد.

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

رکورد ۸۳۳ هزار دانلود ماهانه برای LEGAL-BERT؛ وقتی توسعه‌دهنده‌ها قید مدل‌های گران‌قیمت را می‌زنند!
آخرین اخبار

رکورد ۸۳۳ هزار دانلود ماهانه برای LEGAL-BERT؛ وقتی توسعه‌دهنده‌ها قید مدل‌های گران‌قیمت را می‌زنند!

مدل زبانی تخصصی LEGAL-BERT با ثبت بیش از ۸۳۳ هزار دانلود در ماه روی پلتفرم هاگینگ فیس حسابی خبرساز شده است. این ابزار جمع‌وجور و تخصصی نشان می‌دهد که برای پردازش و تحلیل متون حقوقی، حتماً نیازی به مدل‌های غول‌پیکر و پرهزینه ندارید و گزینه‌های بهینه همچنان در اوج هستند.

۲ دقیقه مطالعه
۰
۶ مهر
جاسوسی هوش مصنوعی در محل کار؛ کارمندان می‌گویند کارفرماها باید قانوناً مچ‌گیری‌هایشان را لو بدهند!
آخرین اخبار

جاسوسی هوش مصنوعی در محل کار؛ کارمندان می‌گویند کارفرماها باید قانوناً مچ‌گیری‌هایشان را لو بدهند!

نظرسنجی‌های تازه نشان می‌دهد که بیشتر کارمندان حس می‌کنند مدیرانشان با ابزارهای هوش مصنوعی تمام حرکات آن‌ها را زیر نظر گرفته‌اند. حالا بیش از ۸۰ درصد شاغلان خواستار تصویب قانونی شده‌اند که شرکت‌ها را مجبور کند هرگونه مچ‌گیری و نظارت هوش مصنوعی در محیط کار را رسماً اعلام کنند.

۳ دقیقه مطالعه
۰
۶ مهر
گزارش داغ مایکروسافت از نفوذ جهانی هوش مصنوعی؛ امارات در صدر و رتبه عجیب آمریکا!
آخرین اخبار

گزارش داغ مایکروسافت از نفوذ جهانی هوش مصنوعی؛ امارات در صدر و رتبه عجیب آمریکا!

مایکروسافت در تازه‌ترین گزارش خود از ضریب نفوذ هوش مصنوعی در جهان پرده برداشت؛ آماری شگفت‌انگیز که نشان می‌دهد امارات و سنگاپور با فاصله‌ای خیره‌کننده پیشتاز دنیا هستند و در مقابل، آمریکا در رتبه ۲۱ جا مانده است. همچنین الگوی استفاده از هوش مصنوعی میان کشورهای غربی و کشورهای در حال توسعه، از تفاوتی عمیق میان کاربردهای روزمره و آموزش پرده برمی‌دارد.

۳ دقیقه مطالعه
۰
۶ مهر