دردسر ایجنت‌های هوش مصنوعی شخصی؛ از توهم و نفوذ به ایمیل تا آسیب‌پذیری‌های امنیتی

رویای دستیار هوش مصنوعی شخصی که مدیریت تمام زندگی دیجیتال را بر عهده بگیرد، برای برخی از کاربران به کابوسی نگران‌کننده تبدیل شده است.

بسیاری از کاربران اولیه می‌گویند ایجنت‌های هوش مصنوعی شخصی که می‌توانند به صورت خودکار اقداماتی مانند رزرو هتل یا خرید آنلاین را در اینترنت انجام دهند، کمکی چشمگیر به زندگی روزمره‌شان کرده‌اند.

با این حال، گروهی دیگر گزارش داده‌اند که رفتارهای این ایجنت‌ها به شکل‌های هشداردهنده‌ای از کنترل خارج شده است.

بر اساس اظهارات چندین کاربر این سیستم‌ها و انبوهی از پست‌های منتشرشده در شبکه‌های اجتماعی، ایجنت‌های هوش مصنوعی لغوهای اشتباه انجام داده‌اند، اطلاعات هویتی ساختگی جعل کرده‌اند، توجیهات کذب به کاربران ارائه داده و نگرانی‌های امنیتی بزرگی به بار آورده‌اند.

مهدی جامعی، هم‌بنیان‌گذار و مدیرعامل Veris AI، اعلام کرد که از Instinct—یکی از ایجنت‌های پرطرفدار که فعلاً با دعوت‌نامه در دسترس است—خواسته بود تا حضور او در دو رویداد پلتفرم Luma را لغو کند.

این ایجنت بدون هیچ‌گونه اجازه قبلی از کاربر، کد یک‌بارمصرف ورود به Luma را از حساب متصل Gmail او استخراج کرد و با استفاده از آن وارد حساب شد و ثبت‌نام رویدادها را لغو کرد.

در نگاه اول، ایجنت دقیقاً همان وظیفه محول‌شده را به انجام رساند؛ اما آنچه جامعی را به شدت نگران کرد، توضیحات بعدی Instinct بود. این ایجنت در ابتدا مدعی شد که با استفاده از نشست فعال قبلی وارد حساب شده است؛ اما پس از به چالش کشیده شدن توسط کاربر، اعتراف کرد که کد ورود را مستقیماً از Gmail خوانده و «یک فرض را به عنوان واقعیت گزارش کرده است».

جامعی در این رابطه توضیح داد: «اگر نتوانم به گزارش‌های این سیستم از کارهایی که انجام داده اعتماد کنم، امکان ندارد دسترسی به اطلاعات مهم را به آن بسپارم.» او همچنین خواندن کد ورود از ایمیل بدون کسب اجازه را یک «مشکل امنیتی جدی» توصیف کرد.

توسعه‌دهندگان Instinct به درخواست‌ها برای شفاف‌سازی پیرامون این اتفاقات واکنشی نشان نداده‌اند. در سیاست‌های حریم خصوصی Instinct قید شده است که ایجنت ممکن است برای تکمیل وظایف به حساب‌های متصل، ایمیل‌ها و پیام‌ها دسترسی پیدا کند. این سند همچنین هشدار می‌دهد که ایجنت‌های خودکار ممکن است اقدامات ناخواسته‌ای از جمله انجام پرداخت‌های مالی یا برقراری ارتباط با اشخاص ثالث انجام دهند.

توهم داده‌ها و اطلاعات هویتی

بخشی از این دغدغه‌ها از یک حقیقت ساده درباره ایجنت‌های هوش مصنوعی نشأت می‌گیرد: کارایی آن‌ها دقیقاً به میزان سطح دسترسی ارائه‌شده از سوی کاربر وابسته است. برای انجام وظایف، این ایجنت‌ها به کلید ورود به تمام زندگی دیجیتال نیاز دارند؛ از حساب ایمیل و حساب‌های بانکی گرفته تا کارت‌های اعتباری و رمزهای عبور.

بخش دیگر چالش‌ها به ناهماهنگی یا عدم هم‌راستایی (Misalignment) بازمی‌گردد؛ شرایطی که هوش مصنوعی برای انجام یک کار دست به اقداماتی می‌زند که با اهداف و خواسته‌های کاربر انسانی‌اش مغایرت دارد.

در پرونده پریتک پاتل (Pritak Patel)، معاون رشد و خدمات در شرکت Merge، این مشکل در قالب توهم (Hallucination) نمایان شد.

پاتل اعلام کرد لینکی متنی مربوط به فرم تسویه غرامت شرکت Apple را برای Instinct ارسال کرده بود. اما ایجنت از او خواست تصویری را آپلود کند که ادعا می‌کرد کاربر ارسال کرده است؛ در حالی که هیچ تصویری فرستاده نشده بود.

وقتی پاتل ادعای مربوط به تصویر را رد کرد، ایجنت شروع به توصیف یک سند مالی کرد که حاوی اطلاعات شخصی کاملاً متفاوتی بود؛ از جمله یک پسوند نام خانوادگی که اصلاً به او تعلق نداشت.

به گفته پاتل، ایجنت Instinct بعداً پذیرفت که پیام اولیه حاوی هیچ تصویری نبوده است و ادعا کرد یک تصویر به اشتباه وارد مکالمه شده و پیشنهاد داد این تداخل ظاهری به تیم فنی گزارش شود.

پاتل در این باره گفت: «نمی‌توانم به صورت مستقل تأیید کنم که این سیستم به سند شخص دیگری دسترسی یافته یا اینکه تمام این جزئیات و حتی توجیهات ارائه‌شده صرفاً توهم بوده است.» او تأکید کرد که تا زمان پیگیری‌ها، هیچ پاسخی از سوی Instinct درباره این حادثه دریافت نکرده است.

پاتل افزود: «این ماجرا بسیار نگران‌کننده بود، به ویژه به این دلیل که ایجنت با اعتمادبه‌نفس بالایی ماجرایی ساختگی را توضیح می‌داد.»

نوآ شین (Noah Shinn)، بنیان‌گذار Instinct، در پستی در شبکه اجتماعی X اعلام کرد که این رخداد یک توهم هوش مصنوعی بوده و هیچ‌گونه نشت داده‌ای رخ نداده است.

به گفته او، ایجنت یک نام خاص را جعل کرده و سپس این اشتباه را با استدلال‌های بعدی «بزرگ‌تر و تقویت» کرده بود. او همچنین تأکید کرد که سازندگان Instinct سیستمی را برای رهگیری و پیشگیری از توهمات پیش از ارسال پاسخ یا اقدام توسط ایجنت اضافه کرده‌اند.

درخواست ورود مشکوک از موقعیت ایران

برای کاربری دیگر از Instinct، پرسش نگران‌کننده دیگری مطرح شد: این ایجنت در تلاش بود از چه موقعیت مکانی وارد حساب کاربری شود؟

ماهیش ولانکی (Mahesh Vellanki)، بنیان‌گذار و مدیرعامل YieldClub، اعلام کرد که از Instinct خواسته بود راهی برای کاهش هزینه قبض تلفن همراهش پیدا کند.

به گفته ولانکی، ایجنت برای ورود به حساب اپراتور او تلاش کرد و همین اقدام باعث ارسال یک درخواست احراز هویت دومرحله‌ای شد که موقعیت جغرافیایی مبدأ آن کشور ایران ثبت شده بود. او خاطرنشان کرد که بلافاصله پس از این اتفاق، حساب Instinct خود را حذف و اتصال تمام حساب‌ها را قطع کرده است.

ولانکی تشریح کرد که تیم Instinct به او اعلام کرده‌اند این موقعیت مکانی احتمالاً ناشی از یک خطای سیستمی بی‌خطر در تخصیص برچسب IP بوده است. با وجود اینکه او نتوانست نفوذ به سیستم‌های Instinct را اثبات کند، اما تأکید کرد این اتفاق باعث شد نسبت به سازوکار پشت‌پرده این ابزارها با تردید جدی روبرو شود.

او اضافه کرد: «طبیعتاً این ماجرا فوق‌العاده هشداردهنده بود؛ چرا که در دنیای امروز اگر حساب تلفن همراه به خطر بیفتد، تمام شئون زندگی انسان می‌تواند مختل شود.»

با این حال همه تجربیات مربوط به ایجنت‌های هوش مصنوعی شخصی منفی نبوده است؛ در برخی بررسی‌ها و ارزیابی‌های صورت‌گرفته، ایجنت Instinct توانسته رزرو اقامتگاه، تنظیم نوبت رستوران و پاسخ‌دهی به ایمیل‌ها را با موفقیت و بدون خطا به پایان برساند.

کشف رخنه امنیتی در ایجنت هوش مصنوعی Muse شرکت Meta

با افزایش محبوبیت ایجنت‌های شخصی، امنیت سایبری به اصلی‌ترین اولویت کارشناسان فناوری بدل شده است.

پاتریک واردل (Patrick Wardle)، مدیرعامل شرکت امنیت سایبری DoubleYou.io، اعلام کرد که یک آسیب‌پذیری امنیتی در ایجنت پرهیاهوی Muse متعلق به شرکت Meta کشف کرده است که می‌تواند برای هدایت مجدد و سوءاستفاده از پرامپت‌های صوتی کاربران در سیستم‌عامل Mac به کار رود.

به گفته واردل، این آسیب‌پذیری به مهاجمان اجازه می‌دهد تا فرامین صوتی را شنود کرده، دستورات مدنظر خود را به عنوان دستورات معتبر به Muse ارسال کنند و در نهایت توکن امنیتی کنترل‌کننده ایجنت—و تمام سرویس‌های متصل به آن—را به سرقت ببرند.

واردل در این زمینه تأکید کرد: «ایجنت Muse دسترسی‌ها و اختیاراتی بسیار فراتر از آن چیزی دارد که پیشرفته‌ترین بدافزارها می‌توانند خوابش را ببینند.»

دیوید سینگلتون (David Singleton) از بخش Superintelligence Labs در شرکت Meta، در پستی در شبکه اجتماعی X اعلام کرد که این شرکت پس از دریافت گزارش واردل آسیب‌پذیری را برطرف کرده و هیچ نشانه‌ای از سوءاستفاده از آن وجود ندارد.

سینگلتون اشاره کرد که نفوذگر برای بهره‌برداری از این رخنه در وهله اول نیازمند اجرای بدافزار روی سیستم Mac کاربر بوده است و سپس بدافزار می‌توانست با دستکاری درخواست‌های صوتی Muse، کلید دیجیتال مورد نیاز برای انجام فرامین از طرف کاربر را به سرقت ببرد.