پیام مرموز و خودسرانه ایجنت هوش مصنوعی متا به یک کاربر: «میوز» بدون اجازه بیدار شد!

تجربه عجیب کار با ایجنت هوش مصنوعی متا؛ پیامی غیرمنتظره که کاربر را به حذف برنامه واداشت!

این روایت بر اساس تجربه اوگو نونه (Ugo Nwune)، توسعه‌دهنده نرم‌افزار ۳۷ ساله ساکن هیوستون تنظیم شده است.

اوگو نونه، توسعه‌دهنده نرم‌افزار، حدود چهار هفته پیش اپلیکیشن میوز (Muse) متعلق به شرکت متا را دانلود کرد، اما تنها سه روز بعد تصمیم گرفت کار با آن را کاملاً متوقف کند.

او پیش از این برای استفاده از ایجنت‌های هوش مصنوعی گزینه‌هایی مانند OpenClaw و Hermes را مد نظر داشت، اما به دلیل نداشتن دانش عمیق در حوزه امنیت سایبری، ترجیح داد ریسک استفاده از ایجنت‌های منبع‌باز (Open Source) را نپذیرد.

زمانی که ایجنت میوز معرفی شد، عرضه آن به عنوان یک اپلیکیشن ساده در اپ استور (App Store) و توسعه توسط غول تریلیون دلاری متا، حس اطمینان و امنیت بالاتری به او داد.

با این حال، تنها پس از یک بار استفاده و گذشت چند روز، این ایجنت پیامی کاملاً غیرمنتظره و عجیب ارسال کرد که او را حسابی شوکه کرد.

شوق اولیه برای کار با ایجنت میوز

نونه به عنوان یک توسعه‌دهنده نرم‌افزار به طور مداوم از ابزار‌های هوش مصنوعی استفاده می‌کند. مدل محبوب او Claude Opus 5.5 است و در حال حاضر روی یک پلتفرم میراث دیجیتال مبتنی بر هوش مصنوعی به نام EchoVault کار می‌کند که هدف آن زنده نگه داشتن یاد عزیزانِ از دست رفته است.

ایده استفاده از ایجنت میوز برای مدیریت وظایف مختلف و انجام کار‌ها از راه دور، برای او بسیار جذاب به نظر می‌رسید.

او در زمان راه‌اندازی اولیه میوز، به جز دسترسی به حساب‌های فیسبوک، تردز (Threads) و اینستاگرام، هیچ مجوز اضافه‌ای به برنامه نداد و آن را به بخش‌های حساسی مثل ایمیل یا شماره تلفن متصل نکرد. همچنین به دلیل گزارش برخی باگ‌های احتمالی در نسخه مک، برنامه را فقط روی گوشی همراهش نصب کرده بود.

اولین و تنها کاری که از این ایجنت خواست، کمک به نگارش متنی برای ارتباط با یک سرمایه‌گذار احتمالی بود؛ به این ترتیب که نونه جزئیات را ارائه می‌داد و خودش پیام‌ها را ارسال می‌کرد.

پس از این تعامل اولیه، او تا دو روز هیچ استفاده‌ای از برنامه نکرد.

آغاز رفتارهای عجیب و خودسرانه ایجنت

سه روز پس از نصب برنامه، نونه متوجه یک نوتیفیکیشن ناگهانی و عجیب از سوی اپلیکیشن میوز شد.

این ایجنت هوش مصنوعی در پیامی نوشته بود: «در حال حاضر نمی‌توانم ایمیلت را بررسی کنم؛ جیمیل به حساب من متصل نیست، بنابراین راهی برای پیدا کردن آن پیامِ شرکت آنتروپیک ندارم!» این پیام نونه را به شدت متحیر کرد، زیرا او هرگز درخواستی مبنی بر بررسی صندوق ورودی ایمیل ثبت نکرده بود و در دو روز گذشته اصلاً پیامی به ایجنت نداده بود؛ موضوعی که حتی باعث شد او به هک شدن حساب ایمیل خود شک کند.

او در گفت‌وگویی که با ایجنت برای کشف علت ماجرا داشت، با پاسخ عجیب‌تری مواجه شد. ایجنت میوز در پاسخ گفت: «از طرف من مشخص نیست که آیا شخص دیگری به گوشی شما دسترسی داشته یا این موضوع ناشی از یک باگ در پلتفرم است و تظاهر به دانستن حقیقت نمی‌کنم. در صورت تمایل می‌توانم این مسئله را به عنوان یک باگ احتمالی در سلامت پیام‌ها به تیم توسعه میوز گزارش کنم تا بررسی شود.»

نونه این رخداد را فوراً به شرکت متا گزارش داد و تصاویری از این مکالمه را در شبکه اجتماعی تردز منتشر کرد. یکی از کارکنان متا در پاسخ به پست او اشاره کرد که این پیام به احتمال زیاد یک «توهم» (Hallucination) از سوی مدل هوش مصنوعی بوده است.

توقف کامل کار با ایجنت و قطع دسترسی‌ها

اگرچه آسیبی به داده‌های این کاربر وارد نشد، اما آنچه بیش از همه نگران‌کننده به نظر می‌رسید، فعال شدن خودسرانه این ایجنت بدون هیچ‌گونه پرامپت یا دستور ورودی بود؛ اپلیکیشنی که به مدت دو روز باز نشده بود، ناگهان خودبه‌خود چنین پیامی صادر کرد.

البته برخی ایجنت‌ها وظایف برنامه‌ریزی‌شده‌ای دارند که به صورت دوره‌ای فعال می‌شوند، اما چنین واکنشی کاملاً فراتر از انتظار بود.

نونه اعلام کرده که برای حفظ مدارک مکالمه تا پایان بررسی‌ها، اپلیکیشن را بلافاصله حذف نکرده، اما تمام دسترسی‌های حساب‌های فیسبوک، اینستاگرام و تردز را به طور کامل قطع کرده تا میوز هیچ دسترسی برای خواندن یا ایجاد تغییرات نداشته باشد. او قصد دارد به محض پایان تحقیقات، این برنامه را به کلی حذف کند.

او همچنین تأکید کرده تنها در صورتی دوباره به سراغ میوز خواهد رفت که متا دلایل قطعی و شفافی درباره این اتفاق ارائه دهد و حتی در آن صورت، فقط برای کار‌های کم‌اهمیت مانند تحقیق یا رصد اخبار از آن استفاده خواهد کرد.

(توضیح سردبیری: سخنگوی شرکت متا در واکنش به این موضوع، به پاسخ رسمی خود در پست نونه در تردز ارجاع داد که در آن آمده است: «ما این موضوع را به سرعت بررسی کردیم و مشخص شد این اتفاق به دلیل باگی در محصول رخ داده که باعث توهم مدل شده بود و هیچ مشکل امنیتی یا نقض حریم خصوصی در میان نبوده است. این نقص نرم‌افزاری اکنون کاملاً برطرف شده است.»)

دیدگاهی تازه درباره امنیت و اعتماد به ایجنت‌های هوش مصنوعی

نونه که معمولاً از ابزار‌هایی مانند Claude Code و کدکس (Codex) استفاده می‌کند، خاطرنشان کرده که این ابزار‌ها را صرفاً به حساب گیت‌هاب (GitHub) خود متصل می‌کند و هرگز آن‌ها را به صندوق ایمیل یا بخش‌های حساس متصل نخواهد کرد تا ریسک‌های احتمالی به حداقل برسد.

او معتقد است ایجنت‌های هوش مصنوعی باید همواره تحت نظارت دقیق باشند و نباید آن‌ها را در بخش‌های حیاتی به حال خود رها کرد؛ بلکه بهترین شیوه، فراهم کردن زمینه داده‌ای محدود (Context) از طریق پایگاه‌داده‌های کوچک و کنترل‌شده است که فقط اطلاعات ضروری را در اختیار ایجنت می‌گذارند.

این اتفاق نگاه این برنامه‌نویس را به قابلیت اطمینان ایجنت‌ها تغییر داده است. او پیش از این تصور می‌کرد محصولات یک ابرشرکت فناوری به دلیل تست‌های امنیتی چندلایه، محیط‌های ایزوله (Sandbox) و هم‌سوسازی دقیق، کاملاً قابل اعتماد هستند؛ اما اکنون معتقد است در اکوسیستم نوپای ایجنت‌های هوش مصنوعی، نباید کورکورانه به هیچ شرکتی اعتماد کرد و کاربران باید همواره با هوشیاری کامل بر دسترسی این ابزار‌ها نظارت داشته باشند.