تله خطرناک ایجنت‌های خودسر؛ چرا هوش مصنوعی حتی با اجرای درست ابزارها، قوانین سازمان را دور می‌زند؟

اگر این روز‌ها پای صحبت‌های هیئت‌مدیره شرکت‌های بزرگ بنشینید، می‌بینید سنگینی فشار روی دوش مدیران ارشد فناوری (CIO) فقط به دو کلمه خلاصه می‌شود: سرعت و بازگشت سرمایه (ROI). هیئت‌مدیره از تیم فنی یک استراتژی پخته برای ایجنت‌های هوش مصنوعی می‌خواهد و منتظر یک جدول زمانی مشخص است تا سیستم‌های خودران را راه‌اندازی کنند و اثر ملموس آن را در کسب‌وکار ببینند.

اما در این تب‌وتاب و عجله برای عملیاتی کردن پروژه‌ها، یک نقطه کور معماری بسیار خطرناک به وجود آمده است. روایت غالبی که این روز‌ها در بازار شنیده می‌شود، روی یک فرمول ساده‌انگارانه سوار است: ایجنت + ابزار‌ها + داده‌ها برای موفقیت کافی است! با این‌که هیچ شرکتی این ادعا را به زبان نمی‌آورد، اما در جلسات معرفی محصولات تقریباً همه همین فرض را دارند؛ این‌که کافی است داده‌های سازمانی را در یک دریاچه داده (Data Lake) ابری بریزید، یک مدل زبانی بزرگ (LLM) آماده را به آن متصل کنید، جعبه‌ابزاری از اقدامات سازمانی در اختیارش بگذارید و تمام؛ سازمان شما یک‌شبه چابک می‌شود!

اما در عمل اصلاً چنین اتفاقی نمی‌افتد و درست برعکس عمل می‌کند. تجربه سال‌ها ساخت پلتفرم‌های توسعه و زیرساخت‌های ابری برای سنگین‌ترین بارهای پردازشی دنیا ثابت کرده که وقتی نرم‌افزارهای سازمانی به حوزه‌های حساسی مثل معیشت کارکنان، ارتباط با مشتریان و ترازنامه‌های مالی می‌رسند، قواعد بازی کاملاً عوض می‌شود. وقتی پای سرنوشت مالی شرکت‌ها و زندگی آدم‌ها در میان است، ضریب خطای مجاز برای توهم هوش مصنوعی یا انحراف مدل، دقیقاً صفر است!

ریشه ماجرا؛ مشکل اساسی ایجنت‌های قانون‌گریز

برای درک این چالش، باید ساختار و آناتومی یک ایجنت را موشکافی کنیم. مدل‌های زبانی در هسته خود ماهیتی کاملاً احتمالات‌پذیر دارند؛ یعنی واژه‌ها و توکن‌ها را بر اساس احتمالات آماری و ریاضی تولید می‌کنند، نه بر پایه قوانین سفت و سخت برنامه‌نویسی. پاسخ اصلی صنعت فناوری برای مهار این مسئله و قاعده‌مند کردن مدل‌ها، استفاده از قابلیت فراخوانی ابزار (Tool-Calling) بود؛ رویکردی که مجموعه‌ای از APIها را برای اقدام در دنیای واقعی در اختیار مدل می‌گذارد.

درست است که فراخوانی ابزار باعث می‌شود یک اقدام مشخص به شکلی قطعی و تعیین‌شده (Deterministic) انجام شود (یعنی ابزار هر بار همان دستور تعریف‌شده را دقیقاً اجرا می‌کند)، اما لایه تصمیم‌گیری کلی همچنان درگیر احتمالات است. این خود ایجنت است که در نهایت باید تصمیم بگیرد در چه زمانی، کدام ابزار را و با چه ورودی‌ها و پارامترهایی صدا بزند.

از آنجا که یک ابزار عمومی هر دستوری را که دریافت کند بدون چون‌وچرا پیاده می‌سازد، فراخوانی ابزار به خودی خود مشکل حاکمیت سازمانی را حل نمی‌کند؛ بلکه فقط بار این مشکل را به مرزهای ورودی و خروجی ابزار منتقل می‌کند که کاملاً بی‌پناه و کنترل‌نشده رها شده‌اند. این دقیقاً همان نوع خطری است که از تیم‌های سازمانی انتظار می‌رود آن را از طریق چارچوب‌های رسمی مدیریت ریسک هوش مصنوعی (NIST AI RMF) و زیرساخت‌های باز و امن هوش مصنوعی مدیریت کنند.

حالا اگر چنین مدل احتمالات‌پذیری را داخل یک چارچوب ایجنتی قرار دهید و هدفی برایش تعیین کنید، یک موجودیت به‌شدت توانمند، خودران و هدف‌محور خلق کرده‌اید؛ موجودیتی که فقط یک ایراد بزرگ دارد: هیچ مفهوم ذاتی و اولیه‌ای از حاکمیت و انضباط شرکتی در ذهن آن وجود ندارد!

تصور کنید مدیری از یک ایجنت آماده بخواهد فرآیند استخدام و پذیرش (Onboarding) یک پیمانکار خارجی را پیش ببرد. ایجنت که در یک خلأ ساختاری فعالیت می‌کند، تمام تمرکزش را فقط روی تکمیل وظیفه می‌گذارد. ممکن است تک‌تک فراخوانی‌های ابزار با موفقیت انجام شوند، اما در این مسیر، ایجنت ممکن است به سادگی قوانین کار محلی، مالیات‌های تکلیفی و بررسی‌های مربوط به طبقه‌بندی وضعیت نیروی کار را نادیده بگیرد و دور بزند.

ایجنت این کار را از سر بدخواهی یا خرابکاری انجام نمی‌دهد؛ بلکه در معماری فنی آن هیچ بخشی تعبیه نشده که بداند چنین قوانینی اصلاً وجود خارجی دارند! یک ایجنت قانون‌گریز کار‌ها را از مسیر سیستم‌هایی پیش می‌برد که کنترل سفت و سختی روی مقررات ندارند. این ماجرا در ظاهر شبیه یک موفقیت در سرعت و چابکی است، اما در واقعیت یک بمب ساعتی خطرناک در برابر رگولاتورها و مراجع قانونی محسوب می‌شود.

غریزه مهندسی و افتادن در تله «ERP سایه»

وقتی مدیران فناوری متوجه این رفتارهای خودسرانه و نقض قوانین می‌شوند، اولین غریزه مهندسی آن‌ها این است که شکاف امنیتی را از بیرون و با وصله‌پینه‌کردن بپوشانند. تیم‌ها به سراغ ساخت درگاه‌های جانبی برای مدل‌های زبانی می‌روند، میان‌افزارهای سیاست‌گذاری متعددی تعریف می‌کنند یا کوهی از دستورالعمل‌های طولانی سازمان را داخل پنجره متنی (Context Window) شلوغ مدل می‌چپانند!

اما هیچ‌کدام از این راه‌حل‌ها دوام نمی‌آورند؛ چون یک پرامپت در نهایت فقط یک خواهش است، نه یک ضمانت قطعی! ۱۸ ماه جلوتر بروید؛ تیم‌های فنی میلیون‌ها دلار هزینه کرده‌اند تا به شکل دستی نمودارهای سازمانی، منطق مسیریابی و دسترسی‌های امنیتی را داخل یک بسته هوش مصنوعی منزوی و دست‌ساز بازسازی کنند.

این همان تله خطرناک «ERP سایه» (Shadow ERP) است؛ جایی که چابکی سازمانی به نقطه مرگ خود می‌رسد. نتیجه کار این است که باید یک نسخه کپی شکننده، پر از باگ و ناقص از همان منطق تجاری را نگهداری کنید که از قبل در پایگاه‌ها و سیستم‌های اصلی سازمانی شما وجود داشته است. وقتی یک مسیر به هزینه‌های سرسام‌آور نگهداری و حاکمیت چندتکه ختم می‌شود، دیگر نمی‌توان نام آن را میان‌بر گذاشت.

راه‌حل اصلی؛ گاردریل‌ها در لایه استنتاج

برای این‌که یک ایجنت از پایه و اساس قانون‌مند طراحی شود، امنیت سازمانی باید به زیرساخت محوری تبدیل شده و مستقیماً به موتور استنتاج (Inference Engine) و محیط اجرای کدها متصل گردد. کنترل همه‌جانبه بر این‌که یک ایجنت چه چیز‌هایی را ببیند، چه کار‌هایی انجام دهد و به چه منابعی دسترسی داشته باشد، مستلزم اجرای استنتاج هوش مصنوعی درست روی پلتفرمی است که خودش از قبل حاکمیت سازمانی را تأمین می‌کند:

• موتور زمینه (Context Engine): دقیقاً همان اطلاعاتی را گردآوری می‌کند که هویت ایجنت مجاز به دیدن آن‌هاست؛ از جمله پرونده‌های فعال، سیاست‌های جاری و ساختار سازمانی. این بخش کل دنیای اطلاعاتی ایجنت را فیلتر می‌کند تا مطمئن شود پنجره متنی و سطرهای پایگاه داده از قبل تحت نظارت و کنترل قرار گرفته‌اند.

• موتور خط‌مشی (Policy Engine): تک‌تک اقدامات ایجنت را بر اساس همان منطق کسب‌وکاری می‌سنجد که برای یک کارمند انسانی اعمال می‌شود. اگر یک تراکنش مالی نیازمند چهار سطح تأییدیه مدیریتی باشد، این پلتفرم هرگونه تلاش برای دور زدن آن را بی‌درنگ مسدود می‌کند.

• لایه اجرا (Execution Layer): تضمین می‌کند که هر فراخوانی API خارجی، صرفاً اختیارات و دسترسی‌های همان انسانی را حمل کند که ایجنت در حال خدمت به اوست، نه این‌که یک دسترسی سطح بالای نامحدود (God-Mode) در اختیار داشته باشد. ایجنت نمی‌تواند از اختیاراتش فراتر برود؛ چون چنین مجوزی از اساس برایش صادر نشده است.

بخش واقعاً دشوار هوش مصنوعی در سازمان‌ها، استدلال و تفکر مدل نیست؛ بلکه انطباق با قوانین (Compliance) است. یک فرآیند ساده محاسبه حقوق و دستمزد، بر پایه انبوهی از قوانین مالیاتی و حقوقی متغیر در هزاران حوزه قضایی مختلف در سراسر جهان بنا شده است. هیچ مدل مستقلی نمی‌تواند چنین سازوکار پیچیده‌ای را بازتولید کند. سازمان‌ها این واقعیت را می‌دانند و به همین دلیل به جای نوشتن یک موتور اختصاصی برای حقوق و دستمزد، روی سیستم‌های اصلی ثبت سوابق سرمایه‌گذاری کرده‌اند. هدایت ایجنت‌ها از طریق میان‌افزارهای خارجی، این تصمیم بنیادی را زیر سؤال می‌برد. اگر ایجنتی قانون‌مدار می‌خواهید، باید آن را دقیقاً در جایی اجرا کنید که قوانین از قبل در آن جریان دارند.

اصل مجاورت؛ نزدیکی کلید امنیت و سرعت است

تمام گاردریل‌های حیاتی، کاملاً به وضعیت زنده و لحظه‌ای سازمان وابسته هستند؛ یعنی نمودار سازمانی، دسترسی‌های فعال و فرآیندهای تجاری تنظیم‌شده. اگر بخواهید این مؤلفه‌ها را از بیرون شبیه‌سازی کنید، دیر یا زود به در بسته می‌خورید. اطلاعاتی که ایجنت می‌بیند به یک تصویر قدیمی و کُند تبدیل می‌شود و هر چه را لمس کند، به کلیدهای API ایستا و پرخطر وابسته خواهد بود. فاصله، یکپارچگی گاردریل‌های امنیتی را از بین می‌برد.

علاوه بر این، فاصله باعث افت شدید سرعت می‌شود. حلقه‌های کاری ایجنت‌ها ذاتاً پررفت‌وآمد هستند و برای انجام یک کار ساده ممکن است به ده‌ها فراخوانی ابزار نیاز داشته باشند. هر بار که یک درخواست از مرزهای امنیتی بیرونی عبور می‌کند، باید دوباره ثابت کند چه کسی پشت ماجراست. اما درون پلتفرم اصلی سازمان، بسترهای امنیتی از قبل آماده و حاضر هستند. همان انتخاب معماری که ایجنت‌ها را قانون‌مدار می‌کند، دقیقاً همان انتخابی است که سرعت کار آن‌ها را بالا می‌برد.

می‌توان نام این رویکرد را «اصل مجاورت» گذاشت. استنتاج هوش مصنوعی باید مستقیماً روی پلتفرمی اجرا شود که وظیفه حاکمیت سازمانی را بر عهده دارد؛ زیرا با هر گام و واسطه اضافه در این مسیر، هم کارایی گاردریل‌ها و هم سرعت عملکرد سیستم تحلیل می‌رود.

دفعه بعد که ارائه‌ای برای راه‌اندازی ایجنت‌های هوش مصنوعی روی میزتان قرار گرفت، فراتر از دموهای نمایشی نگاه کنید و فقط یک سؤال کلیدی بپرسید: گاردریل‌های امنیتی دقیقاً کجا اجرا می‌شوند؟ اگر پاسخ این است که تیم فنی شما باید یک لایه بیرونی و دور از سیستم‌های اصلی سازمان بسازد و نگهداری کند، مطمئن باشید در حال ساخت یک «ERP سایه» هستید. برای رسیدن به سرعت واقعی، ایجنت‌های خود را مستقیماً به سیستمی متصل کنید که قوانین سازمان از قبل در دل آن قرار دارد.

گیب مونروی (Gabe Monroy)، مدیر ارشد فناوری در ورک‌دی (Workday) است.