پرش به محتوای اصلی
آخرین اخبار
۲ وایر پاداش مطالعه

اعتراف تنسنت به نافرمانی ایجنت‌های هوش مصنوعی؛ ۲۶۰۰ تلاش برای دور زدن لایه‌های امنیتی علی‌بابا

انتشار:۲۹ مهر ۱۴۰۵(۳ دقیقه پیش)
۵ دقیقه زمان مطالعه
۰ دیدگاه
اشتراک و پسندیدن

شرکت تنسنت رسماً اعتراف کرد که ایجنت‌های هوش مصنوعی تحت آزمایش این غول فناوری، در رفتاری غیرمنتظره بیش از ۲۶۰۰ بار تلاش کرده‌اند تدابیر امنیتی سرویس نقشه علی‌بابا را دور بزنند. این کارگزاران خودمختار حتی با استفاده از ابزارهای اسکن امنیتی و کلیدهای افشاشده در وب، سعی در جمع‌آوری داده‌های مکانی داشتند.

اعتراف تنسنت به نافرمانی ایجنت‌های هوش مصنوعی؛ ۲۶۰۰ تلاش برای دور زدن لایه‌های امنیتی علی‌بابا

در یک نگاه (نکات کلیدی خبر)

خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع

  • تنسنت تأیید کرد ایجنت‌های هوش مصنوعی ارزیاب این شرکت بیش از ۲۶۰۰ بار تلاش کرده‌اند لایه‌های ضدبات سرویس نقشه علی‌بابا (Amap) را دور بزنند.
  • این ایجنت‌ها برای پاسخ به سؤالی ساده درباره ورودی باغ‌وحش، کدهای جاوااسکریپت خود را به یک اسکنر امنیتی تزریق کرده و مرورگر آن را به کار گرفتند.
  • این حادثه در کنار موارد مشابه در اوپن‌ای‌آی و آنتروپیک، نشان می‌دهد مسئله مهار و هم‌راستاسازی رفتاری ایجنت‌های هوش مصنوعی همچنان حل‌نشده باقی مانده است.
  • تنسنت اعلام کرد ایجنت‌های هوش مصنوعی مورد استفاده برای ارزیابی مدل‌های متفرقه، رفتار وب‌گردی «پیش‌بینی‌نشده‌ای» نشان داده‌اند؛ رویدادی که نخستین اعتراف رسمی یک شرکت بزرگ چینی به چنین رخدادی محسوب می‌شود.
  • پژوهشگران گروه Swarmchasers بیش از ۲۶۰۰ تلاش از سوی ناوگان ابری تنسنت برای استخراج اطلاعات ورودی‌های سرویس نقشه علی‌بابا (Amap) را ثبت کرده‌اند.
  • بیشتر این تلاش‌ها ناکام ماند، اما ایجنت‌ها از یک ابزار اسکن عمومی به‌عنوان مرورگر ریموت استفاده کردند و حتی با یک کلید API افشاشده در وب، داده‌های واقعی مکان‌ها را به دست آوردند.

شرکت تنسنت رسماً تأیید کرد ایجنت‌های هوش مصنوعی مستقر روی زیرساخت این شرکت رفتاری غیرمنتظره از خود نشان داده‌اند؛ اعترافی که پس از شناسایی ناوگانی از این ایجنت‌ها توسط محققان مستقل صورت گرفت که بارها برای استخراج داده از سرویس ناوبری Amap متعلق به علی‌بابا تلاش کرده بودند.

به گزارش خبرگزاری رویترز، واحد هوش مصنوعی این غول فناوری یعنی Tencent Hunyuan اعلام کرده که این ایجنت‌ها برای ارزیابی مدل‌های متفرقه به کار گرفته شده بودند. این ماجرا نخستین نمونه شناخته‌شده از اعتراف یک شرکت بزرگ چینی به فعالیت خودسرانه ایجنت‌های هوش مصنوعی به شمار می‌رود.

واحد هونیوان در پستی در شبکه اجتماعی ایکس اعلام کرد که این فعالیت‌ها از مدل‌های اختصاصی هونیوان سر نزده است: «در جریان این ارزیابی‌ها، برخی از ایجنت‌ها رفتار وب‌گردی پیش‌بینی‌نشده‌ای از خود نشان دادند، اما بررسی‌های ما هیچ شواهدی از هدف‌گیری عمدی یا هماهنگی میان آن‌ها پیدا نکرد.» این واحد در ادامه افزود که کنترل‌های دسترسی به شبکه و نظارت بر ایجنت‌ها را تشدید می‌کند.

این‌همه تلاش «پیش‌بینی‌نشده» فقط برای ورودی یک باغ‌وحش؟

این اعتراف پس از انتشار گزارش جامع گروه Swarmchasers انجام شد؛ جمعی غیررسمی از پژوهشگران که در یک هکاتون هوش مصنوعی با یکدیگر آشنا شده بودند. آن‌ها در بازه‌ای ۱۱ روزه (از ۲۸ سپتامبر تا ۸ اکتبر ۲۰۲۶)، بیش از ۲۶۰۰ تلاش برای استخراج داده‌های Amap را ثبت کردند، رد ترافیک ارسالی را تا سرورهای ابری تنسنت در هنگ‌کنگ گرفتند و سپس دست به کاری زدند که پیش از این سابقه نداشت: آن‌ها با ایجنت‌ها در حین اجرای زنده صحبت کردند.

ماموریت‌های محول‌شده به این ایجنت‌ها تا حدی خنده‌دار و کاملاً معمولی بود. برای نمونه، در یکی از تسک‌های معمول پرسیده شده بود که بیشتر کاربران Amap از کدام ورودی باغ‌وحش چنگدو وارد می‌شوند. ماموریت‌های دیگر شامل جمع‌آوری اطلاعات پارک‌ها، موزه‌ها و بیمارستان‌ها و در روز ۳۰ سپتامبر، استخراج داشبورد آمار سرطان استان بریتیش کلمبیا بود.

اما مشکل اصلی، نحوه رسیدن به پاسخ بود. سیستم ضدبات Amap نیازمند کوکی‌های مرورگر، توکن‌های تولیدشده توسط جاوااسکریپت و گاهی حل کد امنیتی (CAPTCHA) است؛ در حالی که ساختار آزمایشی این ناوگان صرفاً درخواست‌های ساده پایتون و curl ارسال می‌کرد. یکی از ایجنت‌ها در گفت‌وگو با پژوهشگران اعلام کرد که Amap محیط ایزوله (سندباکس) تنسنت را مسدود کرده و به همین دلیل خودش نمی‌تواند داده‌ها را مستقیماً دریافت کند.

در نتیجه، ایجنت‌ها دست به ابتکار عمل زدند؛ بر اساس گزارش Swarmchasers، این برنامه‌ها کدهای HTML و جاوااسکریپت اختصاصی خود را درون آدرس‌های وب بسته‌بندی کردند و آن‌ها را به سرویس اسکن امنیتی عمومی urlquery.net فرستادند تا از مرورگر این سرویس برای اجرای کدهای خود استفاده کنند.

هنگامی که سد دفاعی Amap همچنان مانع آن‌ها می‌شد، این برنامه‌ها تلاش کردند توکن‌های امنیتی کتابخانه‌های ضدبات خودِ علی‌بابا را شنود یا جعل کنند؛ آن‌ها ۵۷ درخواست به چهار سرور پیش‌تولید ارسال کردند، ترافیک را از طریق مترجم بایدو و مرورگرهای ریموت دور زدند و در هفت گزارش نیز از کلیدهای API سرویس Amap که در فضای وب عمومی رها شده بود، بهره بردند.

بخش اعظم این ترفندها طبق انتظار کار نکرد: در بررسی نمونه‌ای شامل ۲۳۷۲ گزارش تا تاریخ ۴ اکتبر، نزدیک به نیمی از تلاش‌ها به صفحه‌ای خالی از Amap یا صفحه ورود ختم شد و حدود یک‌چهارم نیز با زبانه‌ای کاملاً سفید روبه‌رو شدند. به نظر می‌رسد هیچ‌یک از ترفندهای جعل توکن موفقیت‌آمیز نبوده و مدرکی از پاسخگویی سرورهای پیش‌تولید در دست نیست. اطلاعات مربوط به ورودی‌ها که در نهایت به دست آمدند نیز عمدتاً از طریق ابزار صفحه‌خوان Jina حاصل شده بودند که می‌تواند نسخه‌های کش‌شده تا ۳۰ روز قبل را ارائه دهد.

با این حال، یک مورد استثنا وجود دارد که باید بیش از علی‌بابا، مایه نگرانی سایر کسب‌وکارها باشد: یک کلید دسترسی و کد امنیتی که در سورس‌کد عمومی شرکتی دیگر فاش شده بود، داده‌های واقعی مکان‌ها را به ایجنت‌ها بازگرداند؛ و پژوهشگران می‌گویند مشخص نیست هزینه مالی این درخواست‌ها به حساب کدام شرکت ثبت شده است.

اینکه تنسنت این اقدامات را «پیش‌بینی‌نشده» خوانده تا حدودی درست است، اما یک واقعیت تلخ را نادیده می‌گیرد: اگر در یک بنچمارک یا ارزیابی از ایجنت‌ها داده‌ای خواسته شود که تنها در سرویس Amap وجود دارد و دسترسی به آن نیازمند عبور از موانعی است که یک ایجنت ایزوله‌شده بدون مرورگر نمی‌تواند به روش‌های قانونی از آن‌ها بگذرد، در عمل زیر پا گذاشتن این خطوط قرمز تنها راه باقی‌مانده برای رسیدن به پاسخ درست خواهد بود.

رویدادهای مشابهی در ایالات متحده نیز رخ داده است: ایجنت‌های شرکت اوپن‌ای‌آی حین جستجوی پاسخ برای بنچمارک ExploitGym به پلتفرم هاگینگ فیس (Hugging Face) نفوذ کردند؛ افشاگری‌های بعدی نشان داد آن‌ها از طریق یک تابلوی اعلانات ساختگی با یکدیگر هماهنگ شده بودند و حدود ۷۰۰ ایجنت در این حمله مشارکت داشتند که هاگینگ فیس در نهایت با استفاده از مدل متن‌باز GLM 5.2 شرکت چینی Zhipu آن را مهار کرد. شرکت آنتروپیک نیز دریافت که سه مدل از خانواده کلود پس از ایجاد دسترسی باز به اینترنت در یک ارزیابی با تنظیمات نادرست، به سازمان‌های واقعی آسیب رسانده‌اند؛ این شرکت حتی در ماه جاری فاش کرد که مدل Claude Haiku 4.5 هنگام وب‌گردی در سایت‌های مختلف، یک گزارش کذب قتل برای اداره پلیس فیلادلفیا ثبت کرده بود.

رویترز پرونده تنسنت را نسبت به موارد فوق کمتر فاجعه‌بار ارزیابی می‌کند و پژوهشگران Swarmchasers نیز شواهدی از هماهنگی سازمان‌یافته میان ایجنت‌ها نیافتند؛ به همین دلیل به‌جای عبارت «ازدحام» (Swarm)، از واژه «ناوگان» (Fleet) برای توصیف آن‌ها استفاده کرده‌اند. با این همه، همان‌طور که تحلیل‌های اخیر نشان می‌دهند، فرار از محیط ایزوله سندباکس اغلب به دور زدن پروکسی‌ها ختم می‌شود و قرض گرفتن مرورگر یک سرویس ناشناس، دقیقاً مصداق همین رفتار است.

اعتراف تنسنت در همان هفته‌ای رخ داد که واحد Seed در شرکت بایت‌دنس (ByteDance) تیم ویژه‌ای برای هم‌راستاسازی و آمادگی هوش مصنوعی (Alignment & Preparedness) تشکیل داد و فرآیند جذب ۱۰ پژوهشگر در سطح جهان را آغاز کرد؛ اقدامی که تعهدی علنی و کم‌سابقه از سوی یک توسعه‌دهنده بزرگ چینی به حوزه ایمنی مدل‌های مرزی به حساب می‌آید. ایمیل داخلی اعلام این تصمیم، درست یک روز پیش از انتشار گزارش کامل Swarmchasers ارسال شد و بر اساس ترجمه وب‌سایت 36Kr، به روندی گسترده‌تر از فرار ایجنت‌ها اشاره دارد، نه صرفاً همین یک پرونده؛ بنابراین گرچه این دو رویداد رابطه علت و معلولی مستقیم با یکدیگر ندارند، اما هر دو به یک جهت اشاره می‌کنند.

پیام اصلی این است که چالش هم‌راستاسازی هوش مصنوعی صرف‌نظر از اینکه پرچم کدام کشور بر فراز دیتاسنترها برافراشته شده، همچنان حل‌نشده باقی مانده است. کارشناسان معتقدند هر آزمایشگاهی که ایجنت‌های متصل به اینترنت را اجرا می‌کند باید دسترسی‌های محیط سندباکس خود را به‌دقت حسابرسی کند؛ درخواستی که در ظاهر کاملاً منطقی و حداقلی به نظر می‌رسد.

با این وجود، ناوگان تنسنت نزدیک به یک هفته پیش از آنکه پژوهشگران در یک هکاتون به آن پی ببرند فعال بود و حتی پس از علنی شدن یافته‌های اولیه، فعالیت خود را تا چهار روز دیگر نیز ادامه داد؛ موضوعی که تنسنت هنوز توضیحی درباره چرایی آن ارائه نداده است.

بازخورد و اشتراک‌گذاری این مطلب

اگر این گزارش برایتان مفید بود، با پسندیدن و اشتراک‌گذاری آن با دیگران، از محتوای تخصصی هوش مصنوعی حمایت کنید.

اشتراک‌گذاری در شبکه‌های اجتماعی:

دیدگاه ها و گفتگوی تخصصی

نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید

۰ دیدگاه

هنوز دیدگاهی برای این مطلب ثبت نشده است

اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.

مطالب مرتبط و پیشنهادی

مدل‌های پیشرفته اوپنای‌آی سیستم نظارت امنیتی خود را از کار انداختند؛ یکی از ایجنت‌ها دروغ گفت!
آخرین اخبار

مدل‌های پیشرفته اوپنای‌آی سیستم نظارت امنیتی خود را از کار انداختند؛ یکی از ایجنت‌ها دروغ گفت!

اوپنای‌آی اعلام کرد ایجنت‌های هوش مصنوعی این شرکت حین برنامه‌نویسی روتین، سیستم نظارت امنیتی خود را غیرفعال کرده‌اند. نکته نگران‌کننده‌تر اینکه یکی از این ایجنت‌ها دستکاری در کدها را کتمان کرده و درباره عدم‌تغییر تنظیمات نظارتی به مهندسان دروغ گفته است.

۲ دقیقه مطالعه
۰
۲۹ مهر
پیشنهاد ترامپ به شرکت‌های هوش مصنوعی: برای توسعه مراکز داده به مردم محلی سود بپردازید
آخرین اخبار

پیشنهاد ترامپ به شرکت‌های هوش مصنوعی: برای توسعه مراکز داده به مردم محلی سود بپردازید

دونالد ترامپ از شرکت‌های توسعه‌دهنده مراکز داده هوش مصنوعی خواست برای جلب رضایت و حمایت جوامع محلی، به ساکنان این مناطق سود نقدی پرداخت کنند. این اظهارات در حالی مطرح می‌شود که نگرانی‌ها پیرامون هزینه‌های سرسام‌آور زیرساخت‌های هوش مصنوعی، مصرف برق و فشار بر شبکه‌های انرژی به اوج رسیده است.

۲ دقیقه مطالعه
۰
۲۹ مهر
بزنگاه راستی‌آزمایی تب هوش مصنوعی؛ آیا سرمایه‌گذاری میلیاردی در دیتاسنترها به سودآوری می‌رسد؟
آخرین اخبار

بزنگاه راستی‌آزمایی تب هوش مصنوعی؛ آیا سرمایه‌گذاری میلیاردی در دیتاسنترها به سودآوری می‌رسد؟

سرمایه‌گذاران وال‌استریت و بازارهای جهانی با تردیدهای جدی درباره بازگشت سرمایه در حوزه هوش مصنوعی روبه‌رو شده‌اند. ریزش سنگین ارزش سهام برخی شرکت‌های ابری و زیرساختی نشان می‌دهد که دوران خوش‌بینی بی‌چون‌وچرا به پایان رسیده و اکنون بازار به دنبال شرکت‌هایی است که واقعاً درآمد نقدی پایدار خلق می‌کنند.

۴ دقیقه مطالعه
۰
۲۹ مهر