بزرگ‌ترین تهدید امنیتی هوش مصنوعی دست‌روی‌دست گذاشتن است؛ زنگ خطر نفوذ ایجنت‌ها به شرکت‌ها

در ۱۴ سپتامبر ۲۰۲۶، آزمایشگاه پیشروی اوپن‌ای‌آی (OpenAI) از قانون‌گذاران بریتانیا خواست مقرراتی برای مقابله با تهدیدهای امنیتی ناشی از توسعه پرشتاب هوش مصنوعی وضع کنند؛ درخواستی که در پی نفوذ غیرمنتظره یک ایجنت اوپن‌ای‌آی به فایروال‌های استارتاپ هاگینگ فیس (Hugging Face) در اوایل همان سال مطرح شد.

این تحلیل بر پایه ارزیابی‌های مدیر ارشد فناوری و هم‌بنیان‌گذار شرکت رویکال (Ravical) به بررسی ابعاد مختلف این چالش می‌پردازد.

امنیت سایبری برای رهبران کسب‌وکار موضوع تازه‌ای نیست، اما اهمیت آن در عصر هوش مصنوعی دوچندان شده است. مشتریان داده‌های محرمانه خود را با اطمینان به شرکت‌ها می‌سپارند، کارکنان تمایلی به افشای حقوق خود ندارند و سرمایه‌گذاران نیز خواهان علنی شدن جزئیات سرمایه‌گذاری‌هایشان نیستند.

بدون حاکمیت شفاف و فرآیندهای مشخص در استفاده از هوش مصنوعی، تمام این اطلاعات در معرض خطر افشا قرار می‌گیرند. در چنین شرایطی، دست‌روی‌دست گذاشتن خطری حیاتی و موجودیتی برای شرکت‌ها به‌همراه دارد.

دسته تازه‌ای از ریسک‌های امنیتی

هوش مصنوعی فرصت‌های کم‌نظیری برای سرعت بخشیدن به وظایف تکراری، مانند گزارش‌دهی داده‌ها، فراهم می‌کند و زمان بیشتری در اختیار کارکنان می‌گذارد تا روی کارهای استراتژیک‌تر و باکیفیت‌تر برای مشتریان تمرکز کنند. بااین‌حال، یک ایجنت برای آنکه کارآمد باشد، به حداکثر زمینه (کانتکست) و دسترسی به اطلاعات نیاز دارد؛ دقیقاً همین نقطه در صورت مدیریت نادرست، بیشترین پتانسیل بروز خطر را به وجود می‌آورد.

برای نمونه، ایجنت‌ها ممکن است به سیستم‌های حسابداری، گزارش‌دهی، مدیریت اسناد و سامانه‌های CRM دسترسی داشته باشند؛ این یعنی یک حمله موفق می‌تواند اطلاعات بسیار حساس مشتریان را فاش کند.

مشکل اصلی این است که مدل‌های زبانی در تفکیک داده‌ها از دستورالعمل‌ها با چالش روبه‌رو هستند. یک ایجنت ممکن است دستورات پنهان‌شده در یک ایمیل، سند یا صفحه وب را حتی در صورت مخرب بودن اجرا کند. این اتفاق تحت عنوان «حملات تزریق پرامپت» (Prompt Injection) شناخته می‌شود؛ روشی که در آن هکرها با خوراندن ورودی‌های مخرب در قالب پرامپت‌های ظاهراً معمولی، سیستم‌های هوش مصنوعی مولد را فریب می‌دهند و دستکاری می‌کنند.

تهدید دیگر، نشت اطلاعات است. یک ایجنت ممکن است هنگام بازدید از یک وب‌سایت یا جستجو در وب، ناخواسته اطلاعات محرمانه را افشا کند؛ برای مثال با گنجاندن داده‌های داخلی شرکت در آدرس URL یا عبارت جستجو. این کار داده‌های حساس را بدون آنکه شرکت یا حتی خودِ ایجنت متوجه شود، در بستر اینترنت برملا می‌کند.

این خطر زمانی به اوج می‌رسد که سه عامل در کنار یکدیگر قرار گیرند: ایجنت ورودی‌های غیرقابل‌اعتماد دریافت کند، به داده‌های حساس دسترسی داشته باشد و امکان اجرای عملیات در سیستم‌های بیرونی را در اختیار بگیرد؛ وضعیتی که به «سه‌گانه مرگبار» (Lethal Trifecta) معروف است. در این حالت، دستور مخربی که در یک ایمیل، فایل یا صفحه وب پنهان شده است، می‌تواند در زمانی دیگر با استفاده از مجوزهای قانونی خودِ ایجنت، کارهای مخربی را رقم بزند.

بنابراین شرکت‌ها باید گاردریل‌های سخت‌گیرانه‌ای برای هر ایجنت تعیین کنند تا مشخص شود به چه داده‌هایی دسترسی دارد، چه قابلیت‌هایی در اختیارش قرار می‌گیرد و مجاز به انجام چه اقداماتی است. چنین تدبیری برای جلوگیری از نشت اطلاعات یا سرکش شدن ایجنت هوش مصنوعی حیاتی است.

تهدیدی که درون سازمان جا خوش کرده است

به‌کارگیری هوش مصنوعی در تمام ارکان کسب‌وکارها، از بخش مالی و بازاریابی گرفته تا فروش و توسعه محصول، با سرعت در حال گسترش است. پژوهش جدید شرکت تربوتیک (Turbotic) نشان می‌دهد ۵۱ درصد از مدیران ارشد نگران‌اند که کارکنان اطلاعات حساس شرکت را وارد ابزارهای تأییدنشده هوش مصنوعی کنند و ۳۶ درصد نیز از استفاده بدون نظارت کارمندان از هوش مصنوعی بیم دارند؛ پدیده‌ای که «هوش مصنوعی سایه» (Shadow AI) نامیده می‌شود.

هنگامی که کارمندی در یک پلتفرم عمومی هوش مصنوعی پرامپت می‌نویسد، داده‌های حساس مشتریان افشا می‌شود و در ازای آن خروجی‌هایی دریافت می‌کند که گرچه با لحنی مطمئن بیان می‌شوند، اما ممکن است کاملاً نادرست باشند. این وضعیت به ناهماهنگی لحن، ارائه مشاوره‌های نادرست یا نقض امنیت داده‌ها می‌انجامد. ریشه مشکل در خودِ فناوری نیست، بلکه ناشی از نبود قابلیت ردیابی و فقدان بازبینی انسانی است. اعتماد بیش‌ازحد به ابزارهای هوش مصنوعی بدون ایجاد گاردریل‌های مناسب بسیار خطرناک است.

در بیشتر مواقع، کارکنان حتی متوجه خطرات امنیتی مرتبط با استفاده از هوش مصنوعی نیستند.

آن‌ها باید بدانند که آزمون‌وخطا بیرون از فرآیندهای تأییدشده و پروتکل‌های حفاظت از داده‌ها، ریسک امنیتی جدی دارد. به اشتراک گذاشتن اطلاعات حساس با یک مدل عمومی یا استفاده از محتوای تولیدشده توسط هوش مصنوعی بدون بازبینی، خطر نقض مقررات، تولید محتوای بی‌کیفیت (AI slop) و لطمه‌های جبران‌ناپذیر به اعتبار برند را به‌شدت افزایش می‌دهد.

از همه مهم‌تر، کارکنان مسئول خروجی‌هایی می‌شوند که خودشان توان توضیح، راستی‌آزمایی یا ردیابی منشأ آن‌ها را ندارند.

مدیران برای رفع این خطر باید هوش مصنوعی را در سازمان نظام‌مند کنند؛ یعنی دسترسی کارکنان به ابزارهای مجاز را همراه با دستورالعمل‌های شفاف فراهم سازند، نحوه ارائه کانتکست درست به ایجنت‌ها را آموزش دهند، فرآیندهایی برای بازبینی خروجی‌ها ایجاد کنند و گاردریل‌هایی محکم برای پیشگیری از نشت اطلاعات بسازند. این رویکرد که «هوش مصنوعی سازمانی» (Organizational AI) نامیده می‌شود، توانمندی سازمان را هم از منظر امنیت و هم از بعد بهره‌وری ارتقا می‌دهد.

مدیریت ریسک‌های هوش مصنوعی

بر اساس گزارش مجمع جهانی اقتصاد و شرکت اکسنچر (Accenture)، با وجود هشدارهای فزاینده درباره تهدیدهای امنیتی، کمتر از ۱ درصد سازمان‌ها رویکرد «هوش مصنوعی مسئولانه» را به‌صورت عملیاتی پیاده کرده‌اند.

با توجه به خطرات استفاده بی‌ضابطه از هوش مصنوعی، تدوین سیاست‌نامه‌ای برای هوش مصنوعی مسئولانه اکنون به ضرورتی اجتناب‌ناپذیر تبدیل شده است.

بدون اِعمال محدودیت‌های اساسی بر سطوح دسترسی، کارکنان ممکن است با کمک هوش مصنوعی به اطلاعاتی دست پیدا کنند که مجاز به دیدنشان نیستند؛ از دستمزد همکاران گرفته تا داده‌های محرمانه سرمایه‌گذاران. زمانی که یک ایجنت هوش مصنوعی به داده‌های سازمانی متصل می‌شود، دسترسی‌های ضعیف نوعی آسیب‌پذیری بزرگ به حساب می‌آیند و می‌توانند دسترسی‌های تصادفی به اسناد حساس را رقم بزنند.

هر چیزی که با داده‌های شرکت یا ارتباط با مشتریان پیوند دارد و بر مشاوره‌های تخصصی اثر می‌گذارد، باید تحت کنترل چارچوب حاکمیتی شفاف باشد. وظیفه رهبران سازمان است که مرزهایی شفاف و قابل‌حسابرسی برای کارکنان ترسیم کنند. نخستین گام، ارائه راهنماهای مشخص درباره زمان، نحوه و نوع ابزارهای مجاز هوش مصنوعی است؛ در ادامه، قابلیت توضیح‌پذیری همراه با نظارت و حاکمیت سازمانی می‌تواند اعتماد پایدار خلق کند.

نیاز حیاتی به هوش مصنوعی سازمانی

شرکت‌ها باید اصول پایه‌ای را به درستی تعیین کنند: هوش مصنوعی به چه داده‌هایی دسترسی دارد؟ ورودی‌ها از کجا تأمین می‌شوند؟ این ابزارها مجاز به اتصال به چه سیستم‌هایی هستند؟ چه اقداماتی را می‌توانند انجام دهند؟ و چه زمانی حضور ناظر انسانی برای بازبینی یا تأیید خروجی الزامی است؟ پاسخ تمام این پرسش‌ها باید شفاف به کارکنان اعلام شود و در دل فرآیندهای کاری جای گیرد.

هوش مصنوعی سازمانی در واقع پیاده‌سازی سیستمی یکپارچه در سطح کل مجموعه است؛ سیستمی که بستر رشد سازمان را برای خلق تجربه کاربری بهتر، ارتقای تیم‌ها و مدیریت امنیتی پایدار هموار می‌سازد.

شرکت‌ها باید از همین امروز دست‌به‌کار شوند؛ چراکه خطر موجودیتی دست‌روی‌دست گذاشتن، به مراتب بزرگ‌تر از خطر اجرای ناقص آن است.