توافق اشتباه ایجنت‌های هوش مصنوعی در ۷۵ درصد تصمیم‌گیری‌ها؛ کاهش مصرف توکن خطای واقعی را پنهان می‌کند

به گفته ویجوی پاندی (Vijoy Pandey)، معاون ارشد و مدیرکل Outshift، بازوی نوآوری شرکت سیسکو، سازمان‌هایی که حافظه مشترک و کانتکست بهینه‌سازی‌شده را در اختیار ایجنت‌های هوش مصنوعی قرار می‌دهند، همچنان با شکست این تیم‌های هوشمند در دستیابی به اهداف مشترک روبه‌رو می‌شوند. در حقیقت، نتایج یک مطالعه جدید در دانشگاه برکلی نشان می‌دهد که حدود یک‌سوم از خطاهای مورد بررسی در ایجنت‌ها، ناشی از عدم هم‌راستایی اهداف بوده است.

بخش بزرگی از این چالش به این موضوع برمی‌گردد که حتی اگر ایجنت‌ها به تمام دانش سازمانی یک شرکت مجهز شوند، باز هم فقط اهداف مربوط به نقش اختصاصی خود را دنبال می‌کنند. اگر یک ایجنت فروش، یک ایجنت مهندسی، یک ایجنت محصول، یک ایجنت مالی و یک ایجنت حقوقی را برای نهایی کردن یک قرارداد کنار هم قرار دهید، هر کدام تنها برای شاخص‌هایی تلاش می‌کنند که برای بخش خودشان اولویت دارد.

پاندی در این رابطه توضیح می‌دهد: «آیا تصور می‌کنید سازمان به نتیجه‌ای که از آن معامله می‌خواهد دست پیدا می‌کند؟ پاسخ منفی است. این ایجنت‌ها فقط روی انگیزه‌های فردی و محلی خود تمرکز دارند؛ بنابراین روی هدف اصلی به توافق نمی‌رسند، با یکدیگر هماهنگی یا مذاکره نمی‌کنند و پس از اتمام کار نیز نتیجه نهایی را به‌عنوان یک تیم ارزیابی و تأیید نمی‌نمایند.»

در حال حاضر این دیدگاه رایج است که بهترین تیم‌های هوش مصنوعی آن‌هایی هستند که با تعداد ایجنت کمتر، توکن‌های کمتری مصرف می‌کنند؛ اما به گفته پاندی، این نوع نگاه از دو زاویه ناقص است. تحقیقات Outshift نشان می‌دهد قبض‌های پردازش با توکن اندک می‌تواند به معنای شانه خالی کردن ایجنت‌ها از چالش رسیدن به یک توافق درست باشد؛ افزوده بر این، با افزایش استقرار ایجنت‌ها در سازمان‌ها طی سال‌های آینده، هر سرویس‌دهنده و ابزار تخصصی جدید، نیاز به هماهنگی و توافق میان این عامل‌ها را چند برابر خواهد کرد.

توافق اشتباه تیم‌های ۵ ایجنتی در ۷۵ درصد مباحث

تیم پژوهشی Outshift هشت تا نه ماه را صرف بررسی سیستم‌های چندایجنت (Multi-Agent Systems) کرده است؛ سامانه‌هایی که در محیط‌های واقعی بخش سلامت، نظارت ویدیویی و مهندسی پلتفرم اجرا می‌شوند. در یکی از دسته‌بندی‌های شکست، تمام جلسات بررسی‌شده دچار اختلالات شناختی بودند؛ یعنی ایجنت‌ها در هم‌راستایی روی هدف، هماهنگی در کار، ارزیابی گزینه‌ها یا بررسی صحت نتایج با شکست مواجه شدند.

هنگامی که Outshift مباحثاتی را میان تیم‌های متشکل از ۵ ایجنت هوش مصنوعی شبیه‌سازی کرد، در ۷۵ درصد موارد همه ایجنت‌ها بر سر یک نتیجه اشتباه به توافق رسیدند. در واقع ایجنت‌ها از مواضع خود عقب‌نشینی کرده و به یک اجماع رسیدند؛ رویدادی که در گزارش‌های هزینه و مالی، کاملاً بهینه‌سازی‌شده و کم‌مصرف ثبت می‌شد.

پاندی می‌گوید: «بله، آن‌ها توکن کمتری مصرف می‌کردند، زیرا زحمت هم‌راستایی، هماهنگی و راستی‌آزمایی وظایف خود را به جان نخریده بودند.»

این مسئله نشان می‌دهد هزینه اختصاص‌یافته به ازای هر ایجنت، معیار درستی برای سنجش موفقیت نیست. تیمی که پیرامون یک مسئله تا رسیدن به نتیجه واقعی به بحث و چالش می‌پردازد، توکن بسیار بیشتری نسبت به تیمی که زود تسلیم می‌شود می‌سوزاند؛ از همین رو، کاهش هزینه‌ها می‌تواند به این معنا باشد که ایجنت‌ها از اختلاف‌نظر درستی که می‌توانست مانع بروز خطا شود، صرف‌نظر کرده‌اند.

پاندی می‌افزاید: «ایجنت‌ها مثل کارشناسانی هستند که بر اساس ساعت کاری دستمزد می‌گیرند؛ با این تفاوت که هزینه آن‌ها به ازای هر واژه و هر تفکر محاسبه می‌شود. هدف نهایی کسب‌وکار، رسیدن به دستاورد یک تیم هماهنگ است، نه پرداخت پول برای افکار پنج کارشناس جداافتاده از یکدیگر.»

ابزارهای نظارتی رایج نیز در شناسایی این مشکل ناتوان هستند. سامانه‌های پایش (Observability) معمولاً تأخیر زمانی، نرخ خطا و میزان مصرف توکن را دنبال می‌کنند؛ تیمی از ایجنت‌ها هم که بر سر یک پاسخ نادرست به اجماع می‌رسد، هیچ‌کدام از این هشدارهای امنیتی و سیستمی را فعال نمی‌کند.

پاندی تشریح می‌کند: «تمام داشبوردهای ابزارهای نظارتی شما وضعیت را سبز و بدون مشکل نشان می‌دهند، در حالی که خروجی واقعی کسب‌وکارتان در وضعیت بحرانی و قرمز قرار دارد.»

کانتکست مشترک برای هم‌راستایی ایجنت‌ها کافی نیست

در پاسخ به این پرسش که آیا حافظه مشترک می‌تواند این چالش را حل کند، پاندی به کمبودهای اساسی آن اشاره کرد. اگرچه شرکت‌هایی مانند پی‌پال (PayPal) در حال ساخت سیستم‌های حافظه مجهز به دستورالعمل‌های استاندارد کاری و پایگاه‌های دانش مشترک برای ایجنت‌ها هستند، اما پاندی معتقد است هرچند سازمان‌ها به این حافظه تیمی نیاز دارند، اما نیازمند سه سازوکار هماهنگی نیز هستند: نخست، سازوکاری برای توافق بر سر مقصود قبل از آغاز کار؛ دوم، سامانه‌ای برای هماهنگی و مذاکره حین اجرای فعالیت؛ و سوم، سیستمی برای سنجش و راستی‌آزمایی خروجی کلی سازمان، به‌جای ارزیابی صرفاً انگیزه‌های فردی هر ایجنت.

بدون وجود این سازوکارها، فرایندها دچار فروپاشی می‌شوند. برای نمونه، ایجنت فروش از مشتری مطلع می‌شود که قرارداد وابسته به پشتیبانی قابلیت جدید از ۱۰۰ هزار کاربر است و این نیاز را به ایجنت‌های مهندسی انتقال می‌دهد. تیم مهندسی سیستم را برای ۱۰۰ هزار کاربر تجمیعی توسعه می‌دهد، در حالی که منظور مشتری، پشتیبانی هم‌زمان از ۱۰۰ هزار کاربر برخط بوده است. این یک نمونه عینی از شکست در هم‌راستایی هدف است که حتی پیش از آغاز کار عملی ایجنت‌ها رخ می‌دهد.

به‌محض شروع کار، حلقه تصمیم‌گیری هر ایجنت برای معیارهای بخش اختصاصی خود بهینه‌سازی می‌شود؛ ایجنت فروش به دنبال سریع‌ترین راه درآمدزایی می‌رود، ایجنت‌های مهندسی و محصول در چرخه طراحی ویژگی، آزمایش و استقرار غرق می‌شوند، ایجنت حقوقی به بررسی تعهدات قراردادی می‌پردازد و ایجنت مالی از حاشیه سود محافظت می‌کند. در این حالت، هر ایجنت می‌تواند بالاترین سطح دانش سازمانی را برای نقش خود داشته باشد، در حالی که معامله به بن‌بست کامل می‌رسد.

پاندی تأکید می‌کند: «این یک مسئله هماهنگی است و مشکل هماهنگی هرگز صرفاً از طریق فراهم کردن کانتکست حل نمی‌شود.»

افزایش شمار ایجنت‌های هوش مصنوعی با تخصصی‌شدن نقش‌ها و موتورهای شناختی

چالش عدم هماهنگی در آینده بزرگ‌تر خواهد شد، زیرا به دلایل مختلف شمار ایجنت‌های سازمانی روزبه‌روز افزایش می‌یابد. یکی از این دلایل، تخصصی‌شدن بسیار بالا (Hyperspecialization) است؛ شرکت‌ها برای وظایف بسیار محدود ایجنت‌های مجزا می‌سازند، کانتکست لازم را در اختیار هر کدام می‌گذارند و فقط دسترسی‌های همان بخش را به آن‌ها واگذار می‌کنند.

پاندی می‌گوید: «نمی‌توان همان سطح دسترسی بخش مهندسی را به ایجنت مالی داد؛ چنین ساختاری کارایی ندارد.»

تخصصی‌شدن در درون هر ایجنت نیز پیشرفت خواهد کرد؛ به‌گونه‌ای که مدل‌های مکالمه‌ای، مدیریت کار را به مدل‌های پشتیبان که برای استدلال و انجام عملیات تنظیم شده‌اند، محول خواهند کرد.

ناهمگونی ابزارها عامل دیگری است که تعداد ایجنت‌های سازمانی را گسترش می‌دهد. در یک فرایند عقد قرارداد ممکن است ایجنت‌هایی از سلزفورس (Salesforce)، سیسکو، مایکروسافت، Harvey و Workday حضور داشته باشند که هر کدام بر پایه پشته فناوری شرکت سازنده خود توسعه یافته‌اند.

محرک سوم همان چیزی است که Outshift آن را «موتورهای شناختی» (Cognition Engines) می‌نامد؛ ایجنت‌هایی که تیم‌های فناوری اطلاعات همگام با جریان‌های کاری کسب‌وکار مستقر می‌کنند. موتورهای محافظتی وظایف مربوط به امنیت، مقیاس‌پذیری، انطباق و پایداری را مدیریت می‌کنند، در حالی که موتورهای شتاب‌دهنده وظایفی نظیر تقطیر حافظه و استدلال مشترک میان ایجنت‌ها را بر عهده دارند. ایجنت‌های منطق تجاری سازمان باید با هر دو دسته همکاری کنند؛ روندهایی که نشان می‌دهد تعداد ایجنت‌های فعال در شرکت‌ها با گذشت زمان روندی صعودی خواهد داشت.

شناسایی نقاط خطای تیم‌های ایجنتی

واحد Outshift طی ۱۲ تا ۱۸ ماه گذشته از طریق پروژه متن‌باز AGNTCY زیر نظر بنیاد لینوکس (Linux Foundation) در زمینه اتصال ایجنت‌ها فعالیت کرده است. اجرای این سامانه‌ها در محیط واقعی، چالش بعدی را آشکار ساخت: ایجنت‌ها می‌توانند با یکدیگر ارتباط برقرار کنند، بدون اینکه برای دستیابی به یک هدف مشترک گام بردارند.

نخستین گام، نمایان ساختن این شکست‌ها است. ابزار جدید Scope از واحد Outshift، داده‌های ردگیری OpenTelemetry را که سازمان‌ها جمع‌آوری کرده‌اند بررسی می‌کند و با تحلیل تعاملات و اقدامات ایجنت‌ها، انحراف شناختی از هدف مشترک را تشخیص می‌دهد. این ابزار بر پایه افزونه‌های معنایی فریمورک OpenTelemetry ساخته شده که سال گذشته با همکاری Outshift و مایکروسافت معرفی شد.

اقدام بعدی به نقطه انحراف ایجنت‌ها بستگی دارد؛ اگر کار را با تفاسیر متفاوت از وظیفه محوله آغاز کنند، پروتکل Accord از Outshift آن‌ها را ملزم می‌کند تا پیش از شروع عملیات بر سر مقصود به توافق برسند. چنانچه ایجنت‌ها حین اجرا دچار اختلاف شوند، پروتکل Concord فرایند هماهنگی و مذاکره را مدیریت می‌کند. هر دو پروتکل بر بستر استانداردهای Agent2Agent (A2A) و پروتکل کانتکست مدل (MCP یا Model Context Protocol) عمل می‌کنند. با این حال، توافق به‌تنهایی ضامن صحت خروجی نیست؛ در اینجا ابزار MAS Lab وارد عمل می‌شود و ارزیابی می‌کند که آیا خروجی سیستم چندایجنت منطبق با انتظارات سازمان هست یا خیر. این ابزارها در کنار هم، نظارت را فراتر از بررسی عملکرد موفق ایجنت‌های منفرد برده و موفقیت کل تیم را می‌سنجند.

تیم Outshift هر چهار ابزار را در آدرس github.com/iocproject به‌عنوان آغاز پروژه‌ای تحت عنوان اینترنت شناخت (Internet of Cognition) منتشر کرده است؛ لایه‌ای فراتر از اتصال صرف ایجنت‌ها که در آن عامل‌ها وظایف خود را هم‌راستا، هماهنگ و راستی‌آزمایی می‌کنند. هدف این ابزارها این است که توافق به معیاری قابل آزمایش در برابر اهداف سازمانی تبدیل شود؛ چراکه به گفته پاندی، خود پدیده اجماع می‌تواند عامل اصلی شکست باشد.

او در پایان تأکید می‌کند: «این وضعیت نماد پدیده تفکر گروهی (Groupthink) است؛ جایی که هیچ‌کس به چالش نمی‌کشد، هیچ‌کس بحث نمی‌کند و همه ایجنت‌ها نتایج دیگران را بدون چون‌وچرا به‌عنوان اصل مسلم می‌پذیرند.»