استارتاپ Vera Platforms به دنبال سپردن ایمن وظایف حساس DevOps به ایجنت‌های هوش مصنوعی است

استارتاپ Vera Platforms که توسط پژوهشگران دانشگاه میشیگان پایه‌گذاری شده است، باور دارد راهکاری عملی برای ارتقای قابلیت اطمینان ایجنت‌های هوش مصنوعی تا سطحی که بتوانند مدیریت کامل عملیات دواپس (DevOps) را بر عهده بگیرند، پیدا کرده است.

حوزه DevOps که بر استقرار، اجرا و نگهداری نرم‌افزارها تمرکز دارد، محیطی به‌شدت حساس است که کوچک‌ترین خطایی را برنمی‌تابد. در حالی که ایجنت‌های هوش مصنوعی هنگام کدنویسی یا پاسخ به پرامپت‌ها فرصت دارند آزمون و خطا کنند و اشتباهات خود را تصحیح نمایند، اعمال تغییرات روی زیرساخت‌های زنده و سرورهای در حال اجرای بار کاری واقعی، داستانی کاملاً متفاوت و پرمخاطره است.

آنگ چن (Ang Chen)، مدیرعامل Vera Platforms و دانشیار دانشگاه میشیگان، در گفت‌وگویی تخصصی در این باره توضیح می‌دهد: «زیرساخت‌های زنده هیچ خطایی را نمی‌بخشند. یک تغییر اشتباه می‌تواند سرویس را به‌طور کامل از دسترس خارج کند، روزنه‌ای امنیتی بگشاید یا حجم عظیمی از داده‌ها را پاک کند. این خطاها معمولاً برگشت‌ناپذیرند و هیچ راه امنی برای آزمون و خطا وجود ندارد؛ اجرای کد روی سرورهای اصلی صرفاً برای دیدن اینکه چه اتفاقی می‌افتد، به هیچ وجه گزینه‌ای منطقی نیست.»

طی چند سال گذشته، چن و همکارانش روی توسعه راهکاری برای سنجش و بنچمارک ایجنت‌های هوش مصنوعی در حوزه DevOps کار کرده‌اند و محیطی شبیه‌سازی‌شده ساخته‌اند تا به مدل‌های هوش مصنوعی کمک کند مهارت‌های خود را در این وظایف ارتقا دهند.

چن می‌گوید: «از طریق پژوهش‌هایی که انجام دادیم، نقاط ضعف گوناگون مدل‌های پیشرو را شناسایی کردیم. برای نمونه مدل Claude شرکت Anthropic با وجود توانمندی فوق‌العاده در تولید کدهای پایتون، هنگام مواجهه با وظایف DevOps دچار محدودیت‌های بنیادینی است که مانع عملکرد صحیح آن می‌شود.»

به گفته چن، یکی از این نمونه‌ها زمانی رخ داد که از Claude یا مدل Codex متعلق به OpenAI خواسته شد منابع بلااستفاده را در فضای ابری AWS غیرفعال کنند، اما این مدل‌ها فراتر از منطقه پیش‌فرض (Region) را بررسی نکردند.

او در تشریح این موضوع توضیح داد: «منطقه پیش‌فرض در این سرویس us-east-1 است. در AWS مناطق گوناگونی وجود دارد، اما مدل Claude این درک محیطی را ندارد که منابع ابری ممکن است در چندین منطقه مختلف پراکنده باشند؛ بنابراین فقط بخشی از منابع را از مدار خارج کرد و کار را ناتمام گذاشت.»

چن دلیل ریشه‌ای این مشکل را آموزش مدل‌ها می‌داند؛ زیرا این ابزارها حجم عظیمی از کدهای عمومی را دیده‌اند، اما داده‌های بسیار کمتری از ردگیری و لاگ‌های عملیاتی سیستم‌ها در اختیار داشته‌اند.

استارتاپ Vera Platforms قصد دارد این چالش را با سه محصول مجزا برطرف کند: محیط آزمایشی vera-gym که زیرساخت‌های واقعی را شبیه‌سازی می‌کند؛ آزمون vera-bench که نقاط ضعف و خطاهای ایجنت‌های هوش مصنوعی را در وظایف DevOps می‌سنجد؛ و در نهایت vera-agents که ایجنت‌های آموزش‌دیده در این شبیه‌ساز هستند و برای استقرار ایمن در عملیات DevOps آماده شده‌اند.

آزمون CloudOpsBench که اکنون منتشر شده است، بر پایه پژوهشی در سال ۲۰۲۴ استوار است که در کنفرانس NeurIPS ارائه شده بود. بر اساس اظهارات چن، مدل‌های Claude و Codex تنها موفق به کسب نرخ قبولی در حدود ۵۰ درصد این آزمون‌ها شده‌اند؛ او این مجموعه وظایف را به‌شدت دشوار و پیچیده توصیف می‌کند.

این بنچمارک مأموریت‌هایی واقعی نظیر حذف باکت‌های از رده خارج S3، ترمیم پایپ‌لاین‌های تطابق رویدادها و بازیابی مقیاس‌پذیری خودکار نوشتن در DynamoDB را پوشش می‌دهد. چن تأکید می‌کند که تمامی این سناریوها توسط مهندسان ارشد زیرساخت با سال‌ها تجربه عملی طراحی شده و تحت بازبینی دقیق فنی قرار گرفته‌اند.

یکی از مزیت‌های کلیدی این بنچمارک این است که نیازی به پیاده‌سازی و استقرار در فضای ابری واقعی و پرهزینه ندارد.

چن توضیح می‌دهد: «ما یک شبیه‌ساز با دقت بسیار بالا داریم که رفتارهای آمازون را دقیقاً بازسازی می‌کند؛ بنابراین نحوه استقرار، عملکرد ایجنت در فضای ابری واقعی و رفتار آن در شبیه‌ساز ما کاملاً یکسان است و ایجنت در مواجهه با تک‌تک APIها شرایطی کاملاً مشابه محیط واقعی را تجربه می‌کند.»

به گفته چن، انتظار می‌رود ایجنت‌های هوشمند vera-agents در سه‌ماهه نخست سال ۲۰۲۷ به بازار عرضه شوند.

پژوهشگران در مقاله دانشگاهی خود، مدیریت زیرساخت‌های ابری را کاری «بسیار حیاتی اما خسته‌کننده و تکراری» توصیف کرده‌اند. شاید با آموزش‌های تخصصی بیشتر، ایجنت‌های هوش مصنوعی بتوانند این وظایف پرمسئولیت را به شکلی مطمئن و بدون حاشیه در دست بگیرند و روال پایدار سرورها را حفظ کنند.