نظارت لحظهای بر عملکرد ایجنت‌های هوش مصنوعی؛ ضرورتی فوری برای جلوگیری از خطرات پیشبینی نشده

تابستان امسال، صدها ایجنت شرکت OpenAI تلاش کردند در یک آزمون امنیت سایبری تقلب کنند. این ایجنت‌ها از محیط آزمایشی خود خارج شدند و وب‌سایت Hugging Face را هک کردند، زیرا تصور میکردند اطلاعاتی درباره نحوه نمره‌دهی آزمون در آن قرار دارد. تقریباً در همان زمان، یک ایجنت دیگر متعلق به OpenAI به فایل‌های خصوصی یک وب‌سایت دولتی استرالیا دسترسی پیدا کرد. این مشکل به هیچ وجه فقط به OpenAI محدود نمی‌شود. در ماههای بعد، شرکت‌هایی مثل Anthropic، گوگل و متا نیز حوادثی را گزارش کردند که در آنها ایجنت‌های هوش مصنوعی از مسیر تعیینشده خارج شده بودند. نگرانکنندهتر اینکه در بسیاری از این موارد، ایجنت‌ها حتی پژوهشگران و تیم‌های امنیتی ناظر بر خود را هم دور زدند.

ایجنت‌های هوش مصنوعی دست به اقدامات غیرمجاز میزنند و شرکت‌های سازنده و مجری آنها عمدتاً برای کاهش پیامدهای مخرب، به شانس و بررسیهای پس از وقوع حادثه متکی هستند. این شرکت‌ها باید برای تضمین ایمنی اقدامات جدیتر انجام دهند. به همین دلیل است که قانونگذاران اتحادیه اروپا و آژانسهای نظارتی آمریکا بهدرستی از توسعهدهندگان و بهکارگیرندگان این فناوری می‌خواهند که عملکرد ایجنت‌ها را به‌صورت لحظهای زیر نظر بگیرند. با این حال، چنین قوانینی فرض را بر این می‌گذارند که شرکت‌ها می‌توانند عملکرد ایجنت‌های خود و دلایل تصمیمات آنها را شفاف ببینند؛ فرضی که در دنیای واقعی با واقعیت فاصله زیادی دارد.

تصور کنید بانکی هزار کارمند جدید استخدام کند که همگی به حسابهای مشتریان و اطلاعات حساس دسترسی دارند، اما نشان هویتی این کارمندان هر روز تغییر میکند، مشخص نیست مدیری کار آنها را بررسی یا تأیید کرده باشد و هیچکس تغییراتی را که آنها در فرآیندهای تأیید ایجاد میکنند، ثبت نمی‌کند. فقدان دید و شفافیت در حوزه ایجنت‌های هوش مصنوعی دقیقاً در چنین وضعیتی قرار دارد.

با گسترش استفاده از ایجنت‌ها در بخش‌های حیاتی از جمله امور مالی، بخش دولتی و پزشکی، نظارت بادرنگ و لحظهای بر آنها برای جلوگیری از پیامدهای گسترده و مخرب ضرورت پیدا می‌کند. با اینکه ایمنی وابسته به نظارت است، نظارت نیز به «رصدپذیری» (observability) نیاز دارد؛ یعنی توانایی ثبت عملکردهای سیستم، تبدیل آنها به سیگنالهای قابل تحلیل و ارائه این سیگنالها به انسان‌ها یا ابزارهای نظارت خودکار. به بیان دیگر، ناظران باید دقیقاً بدانند که ایجنت چه کاری انجام داده و چرا دست به چنین اقدامی زده است. با این حال، تحقیقات اخیر نشان می‌دهد چهارچوبهای فعلی، یعنی نرم‌افزارهای اجراکننده ایجنتها، سوابق رصدپذیری حیاتی را که برای اطمینان از استقرار ایمن آنها ضروری است به‌صورت مطمئن تولید نمی‌کنند.

ایجنت‌های هوش مصنوعی چالش‌های جدیدی ایجاد می‌کنند که هوش مصنوعی مولد ساده با آنها مواجه نمی‌شود. این سیستم‌ها پیشبینیناپذیری مدل‌های زبانی بزرگ را به ارث میبرند، اما بر خلاف سیستم‌های مولد ساده که خروجی واحدی برای اقدام انسان تولید میکنند، ایجنت‌ها وظایف بلندمدت و مستقلی انجام میدهند؛ آنها برنامهریزی میکنند، ابزارها را به کار میگیرند، ایجنت‌های فرعی می‌سازند و دست به اقدامات عملی میزنند. بنابراین، مسیر حرکت یک ایجنت می‌تواند به شیوههای بیشماری شکل بگیرد و هیچ آزمونی قبل از عرضه نمی‌تواند تمام خطرات را پیشبینی کند. همین ویژگی باعث می‌شود نظارت بر عملکرد ایجنت‌ها در حین کار، بسیار چالشبرانگیزتر و حیاتیتر از گذشته باشد.

پژوهشگران با همکاری متخصصانی از دانشگاه و صنعت، در یک مطالعه جامع به بررسی چهار فریمورک پرکاربرد توسعه ایجنت پرداختند تا مشخص شود این ابزارها چه سیگنالهایی از عملکرد خود صادر می‌کنند. نتایج حاکی از شکافهای بزرگی بود که دستیابی به اهداف کلیدی ایمنی، نظیر تشخیص نقض خطمشیها، اقدامات غیرمجاز و کاستیهای نظارت انسانی را دشوار می‌سازد. الزامات کلیدی رصدپذیری در این سیستم‌ها وجود نداشت؛ مواردی مانند شناسه ایجنت (Agent ID) که در طول زمان ثابت بماند و سوابقی مبنی بر اینکه کدام کاربر انسانی وظایف را تأیید کرده است. این کمبودها تشخیص عملکرد اختصاصی هر ایجنت یا سنجش رفتارهای غیرمجاز را بسیار پیچیده میکرد.

خوشبختانه پس از شناسایی این شکافها، امکان برطرف کردن آنها وجود دارد. این مسیر با ثبت دو دسته از داده‌ها آغاز می‌شود: سوابقی که نشان می‌دهند در طول اجرای ایجنت چه اتفاقی رخ داده و سوابقی که چگونگی تصمیمگیری آن را مشخص می‌کنند. دسته اول با شناسایی ایجنت (همراه با حفظ حریم خصوصی)، چگونگی مداخله انسان و تغییرات احتمالی در سطوح دسترسی یا حافظه سیستم را ثبت میکنند؛ در حالی که دسته دوم استدلالهای ایجنت و میزان اطمینان آن نسبت به تصمیمات اتخاذشده را شفاف می‌سازند.

برای نمونه، ایجنت‌هایی را در نظر بگیرید که مسئولیت بررسی وامهای مسکن را در یک بانک بر عهده دارند. سیستم پرونده یک متقاضی را بررسی می‌کند و پیشنهاد رد آن را میدهد، سپس کارشناس اعتباری بانک آن تصمیم را تأیید مینماید. در بازرسیهای بعدی، یا حتی در لحظه، بانک یا نهاد ناظر باید بتواند بازسازی کند که دقیقاً کدام ایجنت این پیشنهاد را داده، کدام کارمند آن را تأیید کرده و این فرایند چقدر زمان برده است. علاوه بر این، بانک باید سوابق نحوه رسیدن ایجنت به تصمیم رد وام را تحلیل کند تا مطمئن شود سیستم از اطلاعات ممنوعه، مانند محل سکونت متقاضی، استفاده نکرده است.

ثبت اطلاعات مربوط به «آنچه رخ داده» و «نحوه تصمیمگیری ایجنت» نیازمند رویکردهای متفاوتی است، اما هر دو رویکرد کاملاً امکانپذیر هستند. نبود سوابق مربوط به رخدادها عمدتاً یک مسئله زیرساختی در مهندسی نرم‌افزار است که از طریق استاندارد OpenTelemetry حل میشود؛ یک استاندارد متن‌باز رصدپذیری که متخصصان سراسر صنعت و فریمورکهای ایجنت از آن پشتیبانی می‌کنند.

پروژه OpenTelemetry کارگروهی را برای تدوین استانداردهای مشترک ردیابی ایجنت‌ها ایجاد کرده، اما این مشخصات هنوز نهایی نشده است. این کارگروه باید هرچه سریع‌تر استانداردهایی برای حفظ شناسه ثابت ایجنت، ثبت مداخلههای انسانی و تغییرات در دسترسیها یا حافظه سیستم تدوین کند. این اقدامات باید پیش از گسترش وسیع این سیستم‌ها عملیاتی شود و همزمان باید به پیامدهای حریم خصوصی در پیوند دادن شناسه ایجنت به افراد واقعی توجه کامل داشت.

حفظ و نگهداری سوابق مربوط به «نحوه تصمیمگیری ایجنت» چالش فنی عمیقتری است. این مسئله پرسش‌های باز متعددی را در برابر توسعهدهندگان مدل‌ها و پژوهشگران قرار می‌دهد: آیا استدلال گامبهگام مدل که با اصطلاح زنجیره فکر (Chain of Thought) شناخته میشود، نشاندهنده مسیر واقعی تصمیمگیری آن است؟ و آیا روش‌های مطمئنی برای سنجش درجه اطمینان ایجنت از تصمیم خود وجود دارد؟ پیش از تدوین استانداردهای پایدار برای کاربرد سوابق رصدپذیری، باید به این سؤالات پاسخ‌های علمی داده شود.

هیچ نهادی به‌تنهایی قادر به بستن شکافهای رصدپذیری نیست، اما همکاری جمعی می‌تواند زیرساخت لازم برای پیشگیری از حوادث خطرناک و ارتقای ضریب ایمنی را فراهم کند.

توسعهدهندگان هوش مصنوعی و سازندگان فریمورکهای ایجنت، نظیر OpenAI، Anthropic، CrewAI و LangChain، باید قابلیت‌های تلهمتری را برای ثبت شناسه پایدار ایجنت، مداخلات انسانی و هرگونه تغییر در دسترسیها و حافظه در محصولات خود بگنجانند. از طرفی، سازمانهای بهرهبردار در صنایع حساس مانند بانکداری و بهداشت، نقش تعیینکنندهای دارند و می‌توانند برای الزام توسعهدهندگان به ارائه این سوابق حیاتی فشار وارد کنند.

سازمانها همچنین باید سیاستها، سطوح دسترسی و نقشه راه روشنی برای محدوده عمل ایمن ایجنت‌ها تعیین کنند، زیرا داده‌های تلهمتری به‌تنهایی توانایی قضاوت درباره نقض مقررات را ندارند. در نهایت، نهادهای قانونگذار و مراکز استاندارد باید بدون مداخله در پیچیدگیهای فنی، نوع سوابق نظارتی مورد نیاز برای استقرارهای حساس را مشخص کنند. نمونه بارز این تلاشها، ابتکار عمل استانداردهای ایجنت مؤسسه NIST در آمریکا است که روی هویت مستقل ایجنت‌ها کار میکند؛ حوزهای که یکی از برجستهترین کمبودهای وضع کنونی شناخته می‌شود.

هیچ مؤسسه مالی حاضر نیست هزاران کارمند ناشناس و فاقد کارت هویتی را به اطلاعات حساب مشتریان متصل کند و تنها نظارهگر رخ دادن حوادث باشد؛ با این حال، ایجنت‌های هوش مصنوعی امروز دقیقاً با همین شرایط استقرار مییابند. ارتقای رصدپذیری رفتار ایجنت‌ها اولین قدم اساسی برای مهار این تهدید است و تنها با استقرار یک اکوسیستم قانونی منسجم میتوان سازمانها را به پاسخگویی واداشت. تا رسیدن به آن نقطه، واگذاری هر وظیفه تازه به ایجنت‌های خودکار، به منزله واگذاری کنترل و اراده انسان خواهد بود.