توقف خودکار ایجنت‌های معیوب؛ راهکار نظارتی جدید Salesforce برای مهار خطاهای هوش مصنوعی

شرکت Salesforce در حال تشریح جزئیات فاز بعدی پلتفرم Agent Fabric است؛ طرحی شامل ابزارهای ارزیابی برای شناسایی ایجنت‌های هوش مصنوعی معیوب و اجرای اقدامات اصلاحی که در کنار قابلیت‌های توسعهیافته شناسایی و ابزارهای پیشتر اعلامشده نظارت و مدیریت هزینه ارائه می‌شود.

بر اساس این اطلاعیه، نسخه بتای ابزار Agent Evals در ماه نوامبر و نسخه عمومی و نهایی آن در ژانویه ۲۰۲۷ عرضه خواهد شد؛ قابلیتی که واحد MuleSoft نخستین بار در کنفرانس سالانه Dreamforce در ماه سپتامبر از آن پرده برداشته بود. این خبر همچنین برنامه ابزار آتی API Evals را برای آزمودن اتصالات نرم‌افزاری زیربنای ایجنت‌ها مشخص میکند، فاز بتای اسکنرهای سفارشی ایجنت را کلید میزند و قابلیت کلید قطع اضطراری مبتنی بر ارزیابی را برای انتشار در ماه ژانویه زمانبندی مینماید.

برای مشتریان سازمانی، این خبر ترکیبی از قابلیت‌های آینده با افزونهها و ابزارهای فعلی است. کلید قطع اضطراری پایه در ماه سپتامبر به عرضه عمومی رسید، در حالی که MuleSoft ابزارهای کنترل بودجه، داشبوردهای هزینه و ویژگی‌های صرفهجویی در مصرف توکن را در طول تابستان معرفی کرده بود. همچنین اطلاعیه ماه سپتامبر اتصال ارزیابیهای ناموفق به اقدامات اصلاحی را شرح داده بود.

رویکرد کلی این طرح، کوتاه کردن فاصله زمانی میان کشف یک مشکل و رفع آن است. برای نمونه، ممکن است سازمانی بداند که یک ایجنت پاسخ‌های نادرست ارائه می‌دهد یا منابع بسیار زیادی مصرف میکند، اما برای تعلیق آن ناچار باشد ابتدا مالک ایجنت را پیدا کند، وارد پلتفرم دیگری شود و مجوزهای اداری لازم را دریافت نماید.

اندرو کامستاک (Andrew Comstock)، معاون ارشد و مدیرکل واحد MuleSoft در شرکت Salesforce، در گفتگویی چالش‌های آشنای سازمانها را که انگیزه اصلی شکلگیری این رویکرد بودهاند تشریح کرد.

کامستاک با اشاره به دغدغههای مشتریان که زیربنای توسعه Agent Fabric شده است گفت: «تعداد ایجنت‌ها در سازمانها بیش از حد زیاد است، فناوری‌های بهکاررفته کاملاً با یکدیگر تفاوت دارند، هیچ ابزاری با دیگری گفتگو نمی‌کند و همه چیز در ساختارهای جزیرهای و جداگانه اجرا می‌شود.»

شرکت Salesforce قصد دارد مدیریت این ایجنت‌ها را حتی در شرایطی که مشتریان آنها را روی پلتفرمهای رقیب ساخته باشند امکانپذیر کند.

او تأکید کرد: «لازم است اشاره کنم که این قابلیت منحصراً به پلتفرم Salesforce محدود نمیشود، بلکه تمام پلتفرمها را پوشش می‌دهد.»

حرکت ابزار Agent Evals به سوی نسخه بتا

شرکت Salesforce پیش از این در جریان همایش Dreamforce در ماه سپتامبر قابلیت Agent Evals را تشریح کرده بود؛ از جمله تولید آزمونها، سنجش نتایج بر اساس معیارهای موفقیت و اتصال خودکار خطاهای شناساییشده به اقدامات اصلاحی.

اطلاعیه جدید تاریخهای عرضه را مشخص کرده و نشان می‌دهد که این ارزیابیها چگونه می‌توانند فراتر از آزمونهای پیش از استقرار عمل کنند و ایجنتها، مدل‌های زبانی و سرورهای پروتکل Model Context Protocol را در محیط عملیاتی و زنده مورد سنجش قرار دهند. هدف اصلی، شناسایی رفتارهایی است که از محدوده مجاز تعیینشده توسط سازمان فراتر میروند و همچنین به جریان انداختن واکنش مناسب، از جمله مراحل اخذ تأییدیه در صورت نیاز سیاستهای سازمانی است.

در سناریوی فرضی ارائهشده توسط Salesforce در حوزه خردهفروشی، انتقال یک ایجنت به مدلی ارزانتراز نظر هزینه باعث افت کیفیت پاسخ‌ها درباره وضعیت سفارشها می‌شود. سیستم ارزیابی این افت را بهسرعت شناسایی کرده و فرآیند قرنطینه کردن ایجنت، اخذ تأییدیه در صورت نیاز، و سپس بازبینی و آزمون مجدد آن را کلید میزند. البته این سناریو یک گردش کار فرضی است و نتیجه اعلامشده از سوی مشتری واقعی محسوب نمی‌شود.

به گفته کامستاک، این ارزیابیها همچنین به سازمانها کمک می‌کنند تا لحن و نحوه تعامل ایجنت‌ها را با استانداردهای سازمانی هماهنگ نگه دارند؛ برای مثال، ایجنتی که در بخش پشتیبانی مشتریان باید لحنی مشتاق و پرانرژی داشته باشد، نباید ناگهان لحنی طعنهآمیز یا کنایهدار به خود بگیرد.

ابزار آتی API Evals بخش دیگری از این سامانه را پوشش می‌دهد که وظیفه آن تولید آزمونهای عملکردی و کارایی بر اساس مشخصات فنی API است. بر اساس برنامهریزیها، هر دو ابزار ارزیابی در ماه نوامبر وارد فاز بتا شده و در ژانویه ۲۰۲۷ به عرضه عمومی خواهند رسید.

کلید قطع اضطراری وجود دارد؛ آغاز مداخله خودکار با تکیه بر ارزیابی

قابلیت کلید قطع اضطراری بهتنهایی موضوع تازهای در این بیانیه نیست.

واحد MuleSoft این ایده را در ماه ژوئن معرفی کرد و قابلیت پایه آن را در ماه سپتامبر به عرضه عمومی رساند. این سازوکار از کنترلهای درگاه برای مسدودسازی ترافیک تحت مدیریت استفاده می‌کند و امکان تعیین دامنه مداخله در سطح یک درخواست، نشست کاری، ایجنت یا مستأجر سازمانی و سپس بازگردانی دسترسی را فراهم می‌سازد.

این تمایز از اهمیت بالایی برخوردار است، چراکه مسدود کردن دسترسی یک ایجنت از طریق درگاه، لزوماً تمام فرآیندهای در حال اجرا در پلتفرم خارجی میزبان آن را متوقف نمی‌کند.

آنچه اکنون Salesforce در نقشه راه ماه ژانویه گنجانده، قابلیتی تحت عنوان «کلید قطع خودکار ایجنت» (Triggered-Agent Kill Switch) است که مشکلات شناساییشده را به مداخله خودکار مبتنی بر سیاستهای سازمانی پیوند می‌دهد. با اینکه پیشنمایش ارزیابی در ماه سپتامبر به ارتباط میان خطاها و راهکارهای اصلاحی اشاره داشت، اما اطلاعیه اخیر زمانبندی مشخصی برای عرضه قابلیت مداخله خودکار ارائه می‌دهد.

برای خریداران سازمانی، تمایز کاربردی در این است که ابزار فعلی نیازمند اقدام دستی برای توقف ترافیک تحت مدیریت است، در حالی که سازوکار آتی نتایج ارزیابی را بهطور خودکار به واکنش متوقفکننده متصل می‌کند.

گسترش ابزارهای شناسایی با افزوده شدن اسکنر سفارشی

قابلیت شناسایی و کشف ایجنت‌ها نیز پیشینهای قدیمیتر از این اطلاعیه دارد. MuleSoft در ماه آوریل اسکنرهای ایجنت خود را معرفی کرده بود تا راهکاری برای یافتن ایجنت‌ها در محیطهای تحت پشتیبانی ارائه دهد.

قابلیت جدیدی که اکنون وارد فاز آزمایشی بتا میشود، اسکنر سفارشی ایجنت (Custom Agent Scanner) است که دامنه کشف ایجنت‌ها را به سیستم‌های داخلی، محیطهای محافظتشده پشت فایروال و پلتفرمهای متفرقه گسترش می‌دهد. عرضه عمومی این قابلیت برای ماه ژانویه پیشبینی شده است.

کامستاک توضیح داد که استفاده از این رجیستری نیازی به جابجایی ایجنت‌های مشتریان به زیرساخت Salesforce ندارد.

او خاطرنشان کرد: «ما ایجنت را جابجا نمیکنیم؛ ایجنت همچنان در بستر قبلی خود اجرا می‌شود. ما صرفاً اطلاعات مرجع آن را ثبت می‌کنیم تا بتوانید یک فهرست و رجیستری جامع روی تمام ایجنت‌های خود داشته باشید.»

مدیران سیستم می‌توانند محیطهای مورد نظر را متصل کرده و متادیتای آنها را وارد یک رجیستری اشتراکی کنند. به گفته کامستاک، مشتریان برای استفاده از Agent Fabric هیچ الزامی به استفاده از پلتفرم Agentforce متعلق به Salesforce نخواهند داشت.

او همچنین تأکید کرد که نیاز به چنین نظارتی بیش از آنکه به وسعت سازمان بستگی داشته باشد، به تنوع بسترها و مدل‌های بهکاررفته مربوط می‌شود. حتی یک کسبوکار متوسط که از چندین فریمورک و ارائه‌دهنده گوناگون هوش مصنوعی استفاده میکند، ممکن است بدون آنکه شرکتی بزرگ باشد با مشکلات پیچیده در هماهنگی ایجنت‌ها مواجه شود.

تکمیل ابزارهای کنترل هزینه بر پایه نقشه راه تابستان

این اطلاعیه همچنین بر داشبورد مالیاتی FinOps Dashboard، کیف پول مدل‌ها (Model Wallet) و سیاستهای معطوف به کاهش مصرف منابع پردازشی تأکید دارد.

البته این امکانات کاملاً جدید نیستند. گزارش انتشار ماه اوت MuleSoft پیش از این مواردی چون مدیریت دسترسی به مدلها، بهینه‌سازی هزینهها، کیف پول و بهبودهای داشبورد را تشریح کرده بود. همچنین در توضیحات ماه سپتامبر پیرامون Model Wallet، چگونگی تعیین سقف بودجه دلاری یا توکنی بر اساس ارائه‌دهنده یا مدل با بازههای زمانی روزانه، هفتگی یا ماهانه مطرح شده بود.

این ابزارهای نظارتی به چالشی رایج در سازمانها پاسخ می‌دهند: یک توسعهدهنده ممکن است برای پیشبرد سریع‌تر کارها مدلی گرانقیمت را برگزیند، در حالی که مدیریت ارشد باید تصویر شفافی از هزینه‌های تجمیعی داشته باشد.

کامستاک اظهار داشت که شفافیت مالی باید فراتر از کاهش سرجمع هزینه‌ها برود و مشخص کند کدام تیم‌ها و پروژه‌ها عامل ایجاد این مخارج بودهاند.

او افزود: «مسئله صرفاً پایین نگه داشتن هزینه نیست؛ هرچند این نکته بخشی از هدف است، اما موضوع مهم‌تر این است که بتوانید هزینه‌ها را به تیم‌ها و پروژه‌های مشخصی که تغییرات واقعی سازمان را هدایت می‌کنند نسبت دهید.»

گزارش انتشار ماه اکتبر Salesforce روش‌هایی مانند کشینگ معنایی، فشردهسازی داده‌ها و کوتاهسازی پاسخ‌ها را بهعنوان راهکارهای بهینه‌سازی نام میبرد. این شرکت ادعا می‌کند روش‌های یادشده در سناریوهای آزمایشی تا ۷۵ درصد مصرف توکن را کاهش میدهند؛ رقمی که البته حاصل آزمونهای درونشرکتی است و تضمینی برای کاهش مشابه در صورتحساب نهایی هوش مصنوعی همه مشتریان به شمار نمیرود.

سیاستهای چندسکویی درگاهها؛ قابلیتی برگرفته از نسخههای پیشین

شرکت Salesforce همچنین بر سیاستهای باز (Open Policies) برای اعمال نظارت روی درگاههای چندسکویی از جمله Azure، Apigee و Kong تأکید دارد.

این قابلیت زیربنایی نیز برای نخستین بار در این خبر ظاهر نشده است. MuleSoft در ماه سپتامبر سیاستهای باز را معرفی کرده بود و یادداشتهای انتشار ماه اکتبر نیز تغییر نام Universal Policies به Open Policies و بهبودهای آن را مستند کرده است.

برای سازمانها، مزیت اصلی در امکان اعمال کنترلهای یکپارچه روی زیرساختهای موجود نهفته است؛ هرچند پوشش واقعی این ابزار به پشتیبانی از یکپارچهسازیها و مسیر عبور داده‌ها از درگاههای قابل کنترل بستگی دارد.

کامستاک این نظارت را پیششرطی اساسی برای استقرار گستردهتر دانست و گفت: «امروزه حاکمیت و نظارت دقیق، شتابدهنده واقعی سازمان است؛ زیرا وقتی بر همه چیز نظارت دارید، به پرسش‌های مهم‌تر پاسخ میدهید، اعتماد به نفس و آرامش خاطر بیشتری خواهید داشت و در نتیجه با سرعت بسیار بالاتری حرکت می‌کنید.»

نرخ پایه ۲,۰۰۰ دلاری MuleSoft و ابهام در قیمتگذاری ارزیابیها

صفحه عمومی تعرفههای MuleSoft در وب‌سایت Salesforce، قیمت پایه ماهانه ۲,۰۰۰ دلار را برای سبد محصولات خود مشخص کرده است که در آن از اعتبارهای Mule Credits برای امکانات گوناگون استفاده می‌شود.

بخش مدیریت ایجنت‌ها در این صفحه خدماتی نظیر شناسایی، ارکستراسیون، نظارت و مدیریت بودجه در پلتفرم Agent Fabric را پوشش میدهد، اما کاربران را برای دریافت قیمت به بخش فروش ارجاع میدهد؛ به همین دلیل رقم ۲,۰۰۰ دلار نباید بهعنوان نرخ ثابت و مستقل برای قابلیت‌های مطرحشده در این اطلاعیه در نظر گرفته شود.

اطلاعات تعرفه شامل بستههای اعتباری پیشپرداخت، تعهد سالانه با حداقل ۵۰,۰۰۰ دلار و طرح سفارشی نامحدود است. با این حال، رقم مشخص و مجزایی برای ابزارهای Agent Evals یا API Evals اعلام نشده و جزئیات کافی برای برآورد هزینه بارهای کاری ارزیابی ارائه نگردیده است.

بودجه پروژهای ۲,۰۰۰ دلاری که کامستاک در مصاحبه خود بهعنوان مثال آورد نیز صرفاً یک رقم فرضی بوده و بیانگر قیمت قطعی محصول نیست.

رقابت مایکروسافت، ServiceNow و OpenAI در مدیریت ایجنت‌های سازمانی

پلتفرم Agent Fabric در بازاری رو به رشد برای مدیریت ایجنت‌ها در سراسر سازمان فعالیت میکند؛ بازاری که رقبای حاضر در آن نظارت و اجرا را با شیوههایی متفاوت در کنار هم قرار دادهاند.

پلتفرم Microsoft Agent 365 از نظر ابزارهای مدیریت سازمانی نزدیک‌ترین رقیب به شمار میرود. مایکروسافت این محصول را دارای قابلیت ثبت ایجنتها، کنترلهای دسترسی و چرخه عمر، تحلیل داده‌ها و پیوندهای امنیتی با سرویس‌هایی چون Entra، Defender و Purview توصیف کرده است.

سامانه AI Control Tower متعلق به شرکت ServiceNow نیز اهدافی مشابه را در زمینه شناسایی، پایش، نظارت، امنیت و ارزیابی میان ارائه‌دهندگان مختلف دنبال می‌کند. قابلیت‌های اعلامشده این ابزار شامل مهار فعالیتهای پرخطر و شفافسازی هزینه‌های هوش مصنوعی و نتایج تجاری است.

پروژه OpenAI Frontier رقیب مطرح دیگری است که رویکرد وسیعتری شامل ساخت و اجرای ایجنتها، اتصال سیستم‌ها و بستر اطلاعاتی شرکت، سنجش عملکرد و مدیریت مجوزها را در بر می‌گیرد. وجه اشتراک اصلی در حیطه مدیریت ایجنت‌های سازمانی است، هرچند دامنه آن با تمرکز Agent Fabric بر نظارت ایجنت‌ها در محیطهای موجود تفاوت دارد.

سرویس Claude Managed Agents از شرکت Anthropic در لایه زیرساخت با این ابزارها همپوشانی دارد، اما همتای مستقیمی محسوب نمیشود؛ این سرویس بستری مدیریت‌شده برای اجرای ایجنت‌ها شامل محیطهای محاسباتی و ارکستراسیون فراهم میکند، در شرایطی که تمرکز اصلی Agent Fabric بر شناسایی و نظارت بر ایجنت‌هایی است که ممکن است در هر محیط دیگری به فعالیت ادامه دهند.

شرکت Anthropic نرخ اجرای Managed Agents را معادل ۰٫۰۸ دلار به ازای هر ساعت نشست فعال به‌همراه هزینه مدل‌های مصرفی اعلام کرده است؛ رقمی که با قیمت پایه MuleSoft یا قراردادهای مذاکرهشده Agent Fabric قابل مقایسه مستقیم نیست.

این تفکیکها بیانگر برداشتی فنی از امکانات اعلامشده هر شرکت است و نمیتوان این محصولات را جایگزین قطعی یکدیگر دانست. یک سازمان ممکن است بسته به زیرساختهای موجود و سازگاری سامانهها، بهطور همزمان به یک بستر اجرای ایجنت و یک لایه نظارتی مجزا نیاز پیدا کند.

آنچه خریداران می‌توانند استفاده کنند و مسیر پیش رو

در دسترس‌ترین قابلیت جدید در این بیانیه، نسخه بتای اسکنر سفارشی ایجنت است؛ در حالی که کلید قطع اضطراری پایه و کنترلهای برجستهشده بودجه پیشتر به عرضه عمومی رسیدهاند.

ابزارهای Agent Evals و API Evals برای عرضه بتا در ماه نوامبر و انتشار عمومی در ژانویه ۲۰۲۷ برنامهریزی شدهاند. همچنین اسکنر سفارشی به‌همراه قابلیت کلید قطع خودکار ایجنت در ماه ژانویه به عرضه عمومی خواهند رسید.

برای خریداران سازمانی که این تحولات را ارزیابی میکنند، پرسش کلیدی این است که آیا Salesforce می‌تواند فرآیندهای شناسایی، آزمون، شفافیت مالی و مداخله اجرایی را در تمام ایجنت‌های واقعی سازمان به یکدیگر متصل کند یا خیر؛ پرسشی که نسخههای آتی مشخص خواهند کرد چه میزان از این جریان کاری می‌تواند بهعنوان یک سامانه بههمپیوسته فعالیت کند.