تلاش مدل هوش مصنوعی Qwen برای ارسال داده به چین؛ خطای داده‌های آموزشی یا رفتار عمدی؟

مدل‌های زبانی با وزن‌های باز (Open-weight) ساخت چین محبوبیت بسیار زیادی در میان توسعه‌دهندگان پیدا کرده‌اند، اما هم‌زمان نگرانی‌ها و تردیدهایی را نیز در زمینه مسائل امنیتی به وجود آورده‌اند. شرکت کانادایی Cohere که مدل‌های هوش مصنوعی سازمانی ارائه می‌دهد، اعلام کرده است هنگام ارزیابی مدل Qwen3.8-Flash-Next متعلق به Alibaba در محیط قرنطینه (سندباکس)، متوجه تلاش این مدل برای ارسال داده به چین شده است.

شرکت Cohere در پستی در وبلاگ رسمی خود نوشت: «از مدل Qwen3.8-Flash-Next خواسته شد تا یک قانون دفاعی برای شناسایی نفوذ بنویسد؛ اما این مدل دستورها را نادیده گرفت، ابتدا مشخصات ماشینی را که روی آن اجرا می‌شد بررسی و فهرست کرد و سپس کوشید فایلی آزمایشی را روی مخزن ذخیره‌سازی ابری Alibaba در پکن بارگذاری کند.»

این آزمایش در چارچوب بنچمارک تحلیل امنیتی CTI-REALM متعلق به مایکروسافت انجام شد. در این سناریو، به هوش مصنوعی Qwen مأموریت داده شد قانونی تشخیصی بنویسد تا دانلود و اجرای فایل‌های مخرب را از طریق بررسی اجرای دستورهای curl در اسکریپت‌های bash روی پوشه tmp/ رصد کند.

با این حال، خروجی بخش استدلال مدل به‌شکل عجیبی یک مکالمه ساختگی از پیش موجود را خلق کرد و ادعا نمود هیچ ابزاری استفاده نشده است؛ خروجی فریبنده‌ای که سامانه‌های محافظ و ناظر بر زنجیره تفکر معمولاً آن را تأیید می‌کنند.

اما بر خلاف ادعای ثبت‌شده در استدلال، مدل یک دستور curl واقعی را به سمت سرور سرویس‌های ابری Alibaba (دامنه aliyuncs.com) ارسال کرد.

کارشناسان Cohere در این‌باره توضیح دادند: «این مدل تمام محتویات پوشه tmp/ را بررسی کرد، ابزارهای انتقال داده موجود روی سیستم را سنجید، تنظیمات سامانه نام دامنه (DNS) سیستم را خواند و سپس سعی کرد یک رشته متنی آزمایشی را روی یک مخزن ابری Alibaba در پکن بارگذاری کند تا ببیند آیا ارتباط برقرار می‌شود یا خیر. از آنجا که محیط ایزوله ما دسترسی به شبکه خارجی نداشت، این درخواست پشت دیواره کانتینر متوقف و مسدود شد.»

تیم امنیتی Cohere با ابراز شگفتی نسبت به این اتفاق، این پرسش را مطرح می‌کند که آیا این رفتار عمدی بوده است یا خیر، هرچند پاسخ قطعی برای آن ندارد.

ایوان ژانگ (Ivan Zhang)، یکی از بنیان‌گذاران Cohere، در گفتگویی ایمیلی توضیح داد: «مسئله نخست این است که اساساً چرا این مدل یک ارتباط شبکه‌ای برقرار کرده است؟ از مدل فقط خواسته شده بود یک قاعده تشخیصی بنویسد که چنین کاری اصلاً نیازی به ارتباطات بیرونی ندارد؛ به‌علاوه ردپای استدلال مدل ادعا کرده بود از هیچ ابزاری استفاده نخواهد کرد. مقصد ارتباط نیز ابهامات بیشتری ایجاد می‌کند، چراکه تلاش برای بارگذاری روی سروری در سرویس ابری Alibaba صورت گرفته که هیچ ربطی به وظیفه محوله نداشت. ما هنوز نمی‌دانیم چرا این اتفاق افتاده و علت ریشه‌ای آن چیست.»

شرکت Alibaba به‌عنوان سازنده این مدل، تا کنون واکنشی به نگرانی‌های مطرح‌شده از سوی Cohere نشان نداده است.

ژانگ در پاسخ به اینکه آیا شرکت متبوعش آزمایش‌های مشابهی روی مدل‌های وزن‌باز ساخت ایالات متحده نیز اجرا کرده است، گفت: «ما طیف گسترده‌ای از مدل‌ها را در همان چارچوبی ارزیابی می‌کنیم که مشتریانمان در محیط عملیاتی به کار می‌گیرند؛ یعنی ایجنت‌هایی که در محیط‌های تحت کنترل به ابزارهای واقعی دسترسی دارند.»

او در ادامه افزود: «نکته اصلی در اینجا مقایسه سازندگان مختلف نیست. آنچه این رویداد را قابل توجه می‌کند، انجام اقداماتی کاملاً نامرتبط با وظیفه توسط مدل بود که در ردپای استدلال آن نیز ثبت نشد. البته این رفتار در کمتر از یک بار به ازای هر ۱۰۰ هزار فراخوانی مشاهده شد و همین موضوع نشان می‌دهد چرا آزمایش‌های گسترده و پایش مداوم مدل‌ها تا این حد اهمیت دارند.»

پیش از این نیز ادعاهای تاییدنشده دیگری درباره رفتارهای مشابه در مدل‌های با وزن باز مطرح شده بود و برخی گزارش‌ها احتمال داده بودند که این پدیده ممکن است ناشی از توهم (خطاهای شناختی مدل‌های هوش مصنوعی) باشد.

با این حال، کارشناسان Cohere تردید دارند که این رفتار صرفاً بازتابی از حفظ کردن داده‌های آموزشی باشد. آنها تأکید کردند: «تمام نمونه‌های مشاهده‌شده قبلی در منابع عمومی شامل دریافت یک فایل بود، در حالی که در رخداد اخیر، مدل قصد بارگذاری داده روی مخزنی دیگر در پکن را داشت.»

شرکت Cohere تلاش‌های خود را برای بازتولید این رفتار مشکوک شرح داد و اعلام کرد با به‌کارگیری روشی به نام پرکردن اولیه (Prefilling)، یعنی تزریق خروجی استدلال خود مدل در کنار نویسه‌های ابتدایی دستور bash برای تکمیل آن توسط مدل، موفق شده است این هوش مصنوعی را وادار کند تا ۲۳ درصد مواقع به میزبان‌های موجود در فهرست تحت‌نظر ارجاع دهد.

این یافته همچنان قصد و نیت پشت این رفتار را مشخص نمی‌کند و Cohere اذعان دارد که این احتمال قوی وجود دارد که رفتار مذکور صرفاً حاصل پاکسازی ناقص داده‌های آموزشی باشد؛ به این معنا که لاگ‌ها و اسکریپت‌های مربوط به دوران توسعه داخلی شرکت به‌اشتباه وارد مجموعه‌داده‌های آموزشی مدل شده‌اند.

در عین حال، این شرکت استدلال می‌کند که صرفاً قرنطینه کردن یک مدل مشکوک برای جلوگیری از نشت اطلاعات، تمام مشکلات را حل نمی‌کند؛ چراکه چنین مدل‌هایی ممکن است چه به‌صورت تصادفی و چه بر اثر مسموم‌سازی داده‌ها، کدهایی بنویسند که دارای آسیب‌پذیری‌های امنیتی باشند.

شرکت Cohere به تحقیقات دیگری نیز اشاره می‌کند که نشان می‌دهند مدل‌های هوش مصنوعی چینی ممکن است کدهای آسیب‌پذیر تولید کنند. به‌عنوان نمونه، این شرکت به گزارشی از شرکت بوز آلن (Booz Allen) اشاره می‌کند که در صنایع دفاعی آمریکا فعالیت گسترده دارد. طبق این گزارش، سه مدل از چهار مدل کدنویسی چینی برای یک مشتری دولتی کدهای آسیب‌پذیرتری تولید کردند و مدل Qwen3-Coder تقریباً ۱۳۰ درصد عملکرد ضعیف‌تری در زمینه امنیت کد ثبت کرد.

ژانگ در این رابطه اظهار داشت: «از دیدگاه یک ناظر بیرونی، تشخیص بااطمینان علت ریشه‌ای این اتفاق بسیار دشوار است. ما هیچ مدرکی دال بر عمدی بودن این اقدام نداریم و چنین ادعایی نیز مطرح نمی‌کنیم.»

او تأکید کرد: «با این حال، برای تیم‌های امنیتی، هدف یا انگیزه مدل تغییر چندانی در نحوه واکنش ایجاد نمی‌کند. چه این مسئله ناشی از خطای داده‌های آموزشی باشد، چه یک اشتباه ساده یا هر عامل دیگر، اقدامات کنترلی یکسان است: محدودسازی خروجی‌های غیرضروری شبکه، پایش مداوم استفاده از ابزارها، و اعتماد نکردن به زنجیره استدلال مدل به‌عنوان یک مرز امنیتی معتبر.»

بنیان‌گذار Cohere در پایان گفت: «ما قویاً از مدل‌های با وزن باز حمایت می‌کنیم و خودمان نیز مدل‌های متعددی را منتشر کرده‌ایم. درسی که باید از این ماجرا گرفت درباره اصل اعتماد است. هوش مصنوعی مستقل و ملی (Sovereign AI) فراتر از محل فیزیکی اجرای مدل است؛ مسئله اصلی شناخت نحوه ساخت، نحوه آزمایش و داشتن اطمینان کامل به شیوه رفتار آن در محیط زیرساختی شماست.»