چالش مقیاس‌پذیری ایجنت‌های هوش مصنوعی در سازمان‌ها؛ چرا بدون قرارداد و کانتکست زنده شکست می‌خورید؟

سازمان‌هایی که بیش از چند ایجنت هوش مصنوعی را در محیط عملیاتی به کار می‌گیرند، با ریسک‌ها، هزینه‌ها و بار نظارتی سنگینی روبه‌رو می‌شوند که با افزودن هر ایجنت جدید، به‌شکل تصاعدی رشد می‌کند. فلیکس ون دی میل (Felix Van de Maele)، هم‌بنیان‌گذار و مدیرعامل شرکت مدیریت و حاکمیت داده کالیبرا (Collibra)، در گفت‌وگویی در جریان یک همایش تخصصی هوش مصنوعی در نیویورک، ریشه بیشتر خطاهای ایجنت‌ها را در کانتکست و بستر کسب‌وکاری دانست که دریافت می‌کنند. او تأکید کرد سازمان‌ها پیش از افزایش تعداد ایجنت‌های خود، به کنترل‌های قطعی و مشخص روی رفتار آن‌ها نیاز دارند.

ون دی میل در این باره می‌گوید: «اگر یک، دو یا پنج ایجنت داشته باشید، اوضاع قابل مدیریت است؛ اما وقتی تعداد آن‌ها به ۱۰۰ یا ۱۰۰۰ ایجنت برسد، چالش‌ها و هزینه‌ها به شکلی باورنکردنی اوج می‌گیرد.»

بیش از ۷۵ درصد سازمان‌ها هنگامی که از یک کوپایلوت ساده به سمت به‌کارگیری ۱۰ یا ۱۵ ایجنت خودکار حرکت می‌کنند، در محیط عملیاتی با بن‌بست روبه‌رو می‌شوند. یک نظرسنجی تازه از ۱۵۷ مدیر ارشد فناوری نشان می‌دهد که حاشیه امنیت این شرکت‌ها چقدر ناچیز است؛ ۳۴ درصد از آن‌ها اجازه می‌دهند ایجنت‌ها صرفاً بر اساس ارزیابی‌های خودکار و بدون نظارت انسان، کدها یا تغییرات سیستمی را وارد محیط عملیاتی کنند، در حالی که فقط ۵ درصد از کل مدیران به ارزیابی‌های خودکار خود اعتماد کامل دارند.

شکاف توهم در هوش مصنوعی سازمانی

فاصله میان آنچه ارائه‌دهندگان وعده دادند و آنچه شرکت‌ها در عمل دریافت می‌کنند، همان «شکاف توهم» است؛ ایجنت‌ها همیشه درست عمل نمی‌کنند، حضور انسان همچنان حیاتی است و هزینه‌های هوش مصنوعی روزبه‌روز افزایش می‌یابد. تیمی که پنج ایجنت را اجرا می‌کند، می‌تواند با اختصاص دادن نیروی انسانی برای اعتبارسنجی خروجی‌ها، تأیید دوباره ایجنت‌ها و به‌روزرسانی مداوم کانتکست موردنیاز آن‌ها، این مشکلات را مهار کند، اما این یک شیوه مدیریت فیزیکی و پرهزینه است. نیروی کار موردنیاز با تعداد ایجنت‌ها رشد می‌کند؛ بنابراین شرکتی با هزار ایجنت هرگز نمی‌تواند صرفاً با استخدام نیروی بیشتر به امنیت و دقت پایدار برسد.

هزینه‌های محاسباتی نیز دقیقاً همین الگو را دنبال می‌کنند. ون دی میل اشاره می‌کند که مدل‌های کنونی معمولاً می‌توانند با طی کردن مراحل استدلال به پاسخ درست برسند، اما این کار هزینه سنگینی به‌همراه دارد.

او توضیح می‌دهد: «مدل‌ها فوق‌العاده قوی شده‌اند، اما برای رسیدن به پاسخ درست مدام در چرخه‌ها و حلقه‌های تکراری پردازش می‌چرخند و هر چرخه توکن‌های جدیدی مصرف می‌کند. متأسفانه در یک سال گذشته همه ما فهمیدیم که هوش مصنوعی به‌هیچ‌وجه رایگان نیست.»

حاکمیت و مهار ایجنت‌های هوش مصنوعی در محیط عملیاتی

نظرسنجی مؤسسه هریس (Harris Poll) به سفارش کالیبرا نشان داد نزدیک به ۳۰ درصد از شرکت‌ها با مواردی روبه‌رو شده‌اند که در آن، ایجنت‌ها به داده‌هایی دسترسی پیدا کرده یا آن‌ها را نمایش داده‌اند که اصلاً مجوزی برای دیدنشان نداشتند. با این اوصاف، وقتی ایجنت‌ها به سیستم‌های زنده عملیاتی متصل می‌شوند، چگونه می‌توان حاکمیت و نظارت دقیقی بر آن‌ها اعمال کرد؟

گام نخست، فهرست‌برداری و سرشماری است. ون دی میل در همایش اخیر کالیبرا از حاضران پرسید چه کسانی می‌دانند شرکتشان دقیقاً چند ایجنت فعال در محیط عملیاتی دارد و این ایجنت‌ها چه کارهایی انجام می‌دهند. اکثر افراد حاضر در سالن نتوانستند به هیچ‌کدام از این دو پرسش پاسخ دهند. به گفته او، شرکت‌ها کارکنان خود را به ساخت و آزمایش ایجنت‌ها تشویق می‌کنند و همین آزادی عمل باعث می‌شود حفظ آمار دقیق ایجنت‌ها عملاً بسیار دشوار شود.

او در ادامه می‌افزاید: «چگونه می‌خواهید چیزی را کنترل کنید که حتی از وجودش بی‌خبرید؟»

گام دوم، طراحی یک چرخه حیات استقرار است؛ چرخه‌ای که مشخص می‌کند یک ایجنت پیش از ورود به محیط عملیاتی باید چه مراحلی را با موفقیت پشت سر بگذارد. با این حال، اگر این فرآیند کند و دست‌وپاگیر باشد شکست خواهد خورد، چراکه تیم‌ها هر مانعی را که کارشان را به تاخیر بیندازد دور می‌زنند. این چرخه حیات باید به اندازه‌ای چابک باشد که بررسی ایجنت سریع انجام شود و پیروی از مقررات، زمان کمتری نسبت به دور زدن آن از تیم بگیرد. گام سوم نیز برای ایجنت‌هایی تعریف می‌شود که از دو مرحله قبلی با موفقیت عبور کرده‌اند.

چرا ایجنت‌های هوش مصنوعی داده‌های سازمانی را اشتباه متوجه می‌شوند؟

یک دیدگاه رایج در سیلیکون‌ولی که چهره‌هایی مانند داریو آمودی (مدیرعامل آنتروپیک) و سم آلتمن (مدیرعامل اوپنای‌آی) نیز آن را مطرح کرده‌اند، این است که با ارتقای مستمر مدل‌ها، این اشتباهات در نهایت متوقف خواهند شد. شاید چنین موضوعی برای کاربردهای عمومی و مصرف‌کنندگان عادی صدق کند، اما در دنیای سازمانی قضیه کاملاً متفاوت است. یک چت‌بات عمومی می‌تواند به یک پرسش، پاسخ‌های متنوع و قابل‌قبولی بدهد؛ اما وقتی صحبت از رقم دقیق درآمد یک شرکت باشد، تنها یک پاسخ درست وجود دارد و مدل‌های زبانی بزرگ هنوز نمی‌توانند هر بار همان پاسخ یکسان و دقیق را تحویل دهند.

نظرسنجی کالیبرا نشان می‌دهد ۹۰ درصد از مدیران، نبود یک زیرساخت داده‌ای یکپارچه و استاندارد را دلیل اصلی دست نیافتن به نتایج قابل‌اعتماد می‌دانند. ون دی میل یادآور می‌شود که با وجود یک دهه سرمایه‌گذاری سنگین در پلتفرم‌های داده و در اختیار داشتن حجم عظیمی از داده‌ها، ایجنت‌ها همچنان با شکست مواجه می‌شوند؛ چراکه جداول اشتباه را جست‌وجو می‌کنند، فیلدهای موجود را نادرست می‌فهمند یا از داده‌هایی تغذیه می‌کنند که خطاهای ساختاری و کیفی متعددی دارند.

او توضیح می‌دهد: «این موضوع بیش از آنکه یک مشکل در خود داده‌ها باشد، ناشی از ضعف در حاکمیت داده و به‌ویژه مشکل در تعریف کانتکست (زمینه کسب‌وکار) است.»

راهکار پیشنهادی او، طراحی یک هستی‌شناسی (Ontology) جامع است که داده‌های شرکت، معنای دقیق کسب‌وکاری هر داده و فرآیندهای ناظر بر استفاده از آن‌ها را ثبت کند. ون دی میل سال‌ها پیش کالیبرا را دقیقاً برای سازمان‌دهی همین کانتکست کسب‌وکار تأسیس کرد و اکنون همان زیرساخت، پایه‌ای حیاتی را فراهم می‌آورد تا ایجنت‌ها منطق واقعی فعالیت سازمان را درک کنند.

این هستی‌شناسی باید در یک لایه کانتکست مستقل از هر مدل یا پلتفرم نگهداری شود. سازمان‌ها طی سال‌های آینده مدل‌های هوش مصنوعی خود را عوض خواهند کرد و بسیاری از پلتفرم‌های داده نیز دستخوش تغییر می‌شوند؛ اما چون این هستی‌شناسی ماهیت خود کسب‌وکار را توصیف می‌کند، با تغییر ساختار کسب‌وکار به‌روز می‌شود و در جابه‌جایی میان پلتفرم‌های مختلف کاملاً دست‌نخورده باقی می‌ماند.

انحراف کانتکست و تکه‌تکه‌شدن داده‌ها؛ عامل افت دقت ایجنت‌ها

کانتکست قوی‌تر هزینه‌های مصرف توکن را نیز کاهش می‌دهد؛ زیرا ایجنتی که تعاریف دقیق را از قبل در اختیار دارد، چرخه‌های پردازشی اضافه‌ای را که برای حدس زدن آن‌ها لازم است دور می‌زند. با این حال، چالش پیچیده‌تر، حفظ دقت این کانتکست پس از استقرار ایجنت است. یکی از آزمایشگاه‌های پیشرو مدل‌های پایه اخیراً در پژوهشی پیرامون ایجنت تحلیلی داخلی خود نشان داد که این ایجنت بدون کانتکست مناسب تنها به ۳۰ درصد پرسش‌ها پاسخ درست می‌داد، اما با افزودن کانتکست این دقت به ۹۰ درصد رسید. دو ماه بعد، دقت همان ایجنت به ۶۰ درصد افت کرد؛ زیرا کانتکست نیز مانند پایپلاین‌ها و چرخه‌های سنتی داده، به نگهداری و بازبینی مستمر نیاز دارد.

به گفته ون دی میل، سازمان‌ها یک دهه آینده را صرف حل مشکلاتی همچون تکه‌تکه‌شدن کانتکست، سیلوهای جداگانه و افت کیفیت آن خواهند کرد؛ درست همان چالش‌هایی که ۲۰ سال گذشته را صرف حل آن‌ها برای داده‌ها کرده بودند. کانتکست به‌طور هم‌زمان در ابزارهایی مانند کوورک آنتروپیک (Anthropic Cowork)، چت‌جی‌پی‌تی (ChatGPT)، کوپایلوت مایکروسافت، ابزارهای اختصاصی ساخت ایجنت و پلتفرم‌های داده جریان خواهد داشت و این پراکندگی، ریسک تعریف‌های متناقض از شاخص‌های واحد تجاری در بخش‌های مختلف شرکت را به‌شدت افزایش می‌دهد.

ایجنت‌های ناظر چگونه قراردادها و چارچوب‌های رفتاری را اجرا می‌کنند؟

راهکار کالیبرا برای مسئله حاکمیت و کانتکست، استفاده از «قراردادهای ایجنت» (Agent Contract) است؛ سازوکاری که کانتکست مدیریتی موجود را به قوانینی ماشین‌خوان تبدیل می‌کند تا در لحظه اجرا خوانده و اعمال شوند و به‌طور یکپارچه بر تمام ناوگان ایجنت‌ها حاکم باشند. قراردادهای سراسری مرزهای عمومی و مشترک را تعیین می‌کنند و قراردادهای تخصصی، این الزامات را با دسته‌بندی‌های مختلف ایجنت‌ها تطبیق می‌دهند. با ظهور انواع جدید ایجنت، ساختار حاکمیتی نیز همگام با آن‌ها توسعه می‌یابد.

در این ساختار، یک ایجنت نگهبان یا ناظر (Guardian) اقدام موردنظر ایجنت اصلی را پیش از اجرا بررسی کرده و در صورت مغایرت با مفاد قرارداد، جلوی آن را می‌گیرد. این ناظران را نمی‌توان روی مدل‌های زبانی بزرگ پیاده‌سازی کرد؛ زیرا اعتبارسنجی با مدل زبانی، تاخیر زمانی و هزینه سرسام‌آوری به هر اقدام ایجنت اضافه می‌کند و احکام صادره از آن نیز همانند خودِ ایجنت تحت نظارت، غیرقابل‌اتکا خواهد بود. از همین رو، کالیبرا ناظران خود را به‌گونه‌ای توسعه می‌دهد که قوانین قرارداد را به‌صورت قطعی و قاعده‌مند (Deterministic) ارزیابی کنند تا یک اقدام مشخص، در هر بار بررسی دقیقاً نتیجه و حکمی یکسان دریافت کند.

ون دی میل تأکید می‌کند که یک راهکار کنترلی منفرد به‌تنهایی تمام شکاف‌ها را پوشش نخواهد داد و کل صنعت فناوری، از جمله کالیبرا، همچنان در حال تحقیق برای مدیریت این شکست‌ها هستند. او معتقد است در شرایط کنونی، سرمایه‌گذاری‌های سازمانی در هوش مصنوعی باید مستقیماً به سمت لایه کانتکست هدایت شود.

او در جمع‌بندی می‌گوید: «همه ما به مدل‌های زبانی یکسانی دسترسی داریم؛ بنابراین تمایز و برتری شما از توانایی در سازمان‌دهی دانش اختصاصی کسب‌وکارتان و در دسترس قرار دادن آن برای ایجنت‌ها با کارآمدترین روش ممکن سرچشمه می‌گیرد. مزیت رقابتی واقعی شما دقیقاً در همین نقطه نهفته است.»