دوین به برنامه‌نویسان نمره می‌دهد؛ سازوکار جدید کاگنیشن برای توزیع هدفمند بودجه هوش مصنوعی

شرکت کاگنیشن سیستم جدیدی برای کنترل هزینه‌ها بر پایه بهره‌وری در مهندس هوش مصنوعی دوین (Devin) معرفی کرده است که درخواست‌های افزایش سقف مصرف را بر اساس «امتیاز بهره‌وری» (Efficiency Score) هر کاربر بررسی و هدایت می‌کند. کاربرانی که نمرات مطلوبی کسب کنند، تأییدیه خودکار دریافت می‌کنند؛ اما سایر درخواست‌ها همراه با دلیل ثبت‌شده، نمره بهره‌وری و ترکیب مدل‌های مورداستفاده، برای بررسی بیشتر به مدیر سیستم ارجاع داده می‌شوند. این قابلیت جایگزینی کارآمد برای سهمیه‌های ثابت و یکسان کاربران است و برآورد خروجی مهندسیِ تولیدشده توسط این ابزار را مستقیماً وارد تصمیم‌گیری‌های مالی شرکت‌ها می‌کند.

سهمیه‌های یکسان و همگانی با تعیین سقفی مشابه برای همه اعضا، بودجه‌بندی را ساده می‌کنند؛ اما ارزش واقعیِ خلق‌شده با آن سهمیه را کاملاً نادیده می‌گیرند. سیستم کاگنیشن بودجه بیشتری را به کاربرانی اختصاص می‌دهد که نشست‌های کاری (Sessions) آن‌ها به ازای هر واحد هزینه، خروجی مهندسی بالاتری تولید می‌کند؛ اقدامی که به کارهای پربازده اجازه می‌دهد بدون وقفه ادامه پیدا کنند و هم‌زمان نشست‌های پرهزینه‌ای را که بازدهی اندکی دارند، آشکار می‌سازد.

فرمول امتیازدهی: سنجش خروجی کار به ازای دقایق مصرفی

کاگنیشن معادل ساعات کار مهندسیِ انسانی را که در هر نشست کاریِ تکمیل‌شده توسط دوین تولید می‌شود، تخمین می‌زند. این برآورد شامل مراحل پیاده‌سازی، تحقیق و بررسی و برنامه‌ریزی است؛ حتی فعالیت‌هایی که به ثبت پول‌ریکوئست (Pull Request) منجر نمی‌شوند نیز در آن لحاظ می‌شوند. دوین با استفاده از این برآوردهای نشست‌ها، به هر کاربر یک نمره بهره‌وری اختصاص می‌دهد.

کاگنیشن این شاخص را به این صورت محاسبه می‌کند: تقسیم تخمین ساعات کار مهندسی انسانی بر تعداد ACUهای مصرف‌شده. هر ACU واحد صورت‌حساب کاگنیشن است و تقریباً معادل ۱۵ دقیقه اجرای فعال دوین به حساب می‌آید. کسب نمره بالاتر به این معناست که سیستم تخمین‌گر، کار مهندسی بیشتری را به هر واحد از زمان اجرای پولی نسبت می‌دهد.

کاگنیشن برآوردهای زمانی خود را با بازخورد ۱۲۶ کاربر در قالب ۲۵۸ نشست کاری مقایسه کرده است. در نشست‌های آزمایشی مستقل (که در آموزش مدل لحاظ نشده بودند)، لگاریتم ساعات پیش‌بینی‌شده و ساعات گزارش‌شده توسط کاربران همبستگی ۰٫۷۴ را نشان داد؛ ضریب ۱ در این مقیاس نشان‌دهنده تطابق و هم‌جهتی کامل است. این نتیجه نشان‌دهنده هم‌پوشانی و هم‌جهت بودن کلی داده‌هاست؛ اما دقت دقیق در سطح ساعت همچنان نامشخص است، چراکه نمونه آماری محدود بوده و مقادیر مبنا نیز بر اساس خوداظهاری کاربران ثبت شده‌اند.

شواهد موجود نشان می‌دهد که می‌توان از این امتیاز به‌عنوان یکی از ورودی‌ها برای اولویت‌بندی هزینه‌ها استفاده کرد؛ اما اتخاذ تصمیم درباره ارزیابی عملکرد کارکنان به اعتبارسنجی قوی‌تر، شواهد گسترده‌تر و سازوکارهایی برای محافظت در برابر وظایفی نیاز دارد که ممکن است سیستم تخمین‌گر ارزش آن‌ها را کمتر از واقعیت برآورد کند.

نمرات مطلوب، سقف مصرف بیشتری را باز می‌کنند

هنگامی که کاربری درخواست استفاده بیشتر ثبت می‌کند، دوین پیش از تصمیم‌گیری درباره لزوم بررسی توسط مدیر، نمره بهره‌وری او را بررسی و اعمال می‌کند.

بر اساس گزارش رسانه The Information، شرکت بیلت (Bilt) یکی از نخستین مشتریان این سیستم است. علاوه بر این، کاگنیشن قابلیتی به نام Devin Coach (مربی دوین) را عرضه کرده است؛ ویژگی راهنمایی که با هدف کمک به کاربران برای استفاده مؤثرتر از این ایجنت و ارتقای نمره بهره‌وری آن‌ها طراحی شده است.

توجیه تجاری مصرف توکن‌های کمتر

مدل پرداخت بر پایه مصرف به کاگنیشن انگیزه مستقیمی می‌دهد تا مصرف بیشتری بفروشد؛ اما هزینه‌های مهارنشده می‌تواند استقبال مشتریان و تمدید قراردادها را با چالش روبه‌رو کند. ابزارهای کنترل بهره‌وری شاید در کوتاه‌مدت مصرف بی‌رویه ACUها را کاهش دهند، اما وقتی مشتریان سازمانی بتوانند هزینه‌های پرداختی را به نتایج ملموس گره بزنند، تمایل بسیار بیشتری برای گسترش دسترسی و استفاده از این ابزار خواهند داشت.

کاگنیشن پیش از این نیز در نسخه‌های قبلی، کنترل هزینه را به یکی از ارکان اصلی محصول خود تبدیل کرده بود. به گفته این شرکت، قابلیت Devin Fusion با ترکیب چندین مدل، عملکرد سطح بالایی را در بنچمارک FrontierCode حفظ می‌کند و در عین حال هزینه‌ها را تا ۶۰ درصد کاهش می‌دهد. کاگنیشن همچنین کاهش هزینه‌های زیر را گزارش کرده است:

• حالت‌های Fusion و Normal: ۳۰ تا ۴۰ درصد
• حالت Ultra: ۱۵ تا ۲۰ درصد
• قابلیت Devin Review: تا ۷۰ درصد

این آمارها توسط خود کاگنیشن اعلام شده است و ممکن است بسته به مخازن کد، وظایف محوله و محیط توسعه هر تیم متغیر باشد. با این حال، قابلیت‌های کنترلی جدید به مشتریان امکان می‌دهد مصرف خود را در سطح تک‌تک اعضا اندازه‌گیری و رصد کنند.

سنجش‌پذیر شدن پدیده «مصرف افراطی توکن»

کاگنیشن اصطلاح «توکن‌ماکسینگ» (Tokenmaxxing) را برای الگویی به کار می‌برد که در آن تعداد معدودی از کاربران، سهم نامتناسبی از توکن‌های تیم را مصرف می‌کنند؛ پدیده‌ای که معمولاً از طریق نشست‌های آزمایشی نسنجیده، تکراری یا پروژه‌هایی با تعریف مبهم رخ می‌دهد. سهمیه‌های ثابت و یکسان فقط سقف کلی هزینه‌ها را محدود می‌کنند، اما اطلاعات خاصی درباره اینکه آیا این نشست‌های پرهزینه کار مفیدی تولید کرده‌اند یا خیر، ارائه نمی‌دهند.

بر اساس مستندات دوین، مصرف بالای ACU با تعداد کمی پیام از سوی کاربر می‌تواند نشان‌دهنده اجرای مستقل و مفید، تلاش‌های مکرر و ناموفق، پیکربندی ناقص محیط توسعه یا نیازمندی‌های مبهم باشد. ترکیب ساعات کار انسانیِ برآوردشده با میزان مصرف، مدارک روشنی در اختیار مدیران قرار می‌دهد تا دریابند آیا آن فعالیت واقعاً ارزش‌آفرین بوده است یا خیر.

طرح‌های اشتراکی دوین در حال حاضر شامل سهمیه‌های روزانه و هفتگی هستند. سقف‌های یکسان، صرف‌نظر از ارزش وظایف، به تمام کاربران حد مجاز برابری اختصاص می‌دهند؛ در حالی که نمره بهره‌وری، هنگام درخواست منابع بیشتر از سوی کاربران، معیاری مبتنی بر نتیجه و بازدهی واقعی را وارد فرایند تصمیم‌گیری می‌کند.

سیاست‌هایی که تیم‌ها باید پیش از پیاده‌سازی این سیستم تعیین کنند

• شفاف‌سازی اهداف: به‌طور رسمی مستند کنید که این نمره صرفاً برای تأیید بودجه و هزینه‌هاست و هرگونه استفاده جانبی دیگر از آن را مشخص و محدود کنید.
• مدیریت موارد استثنا: فرد مشخصی را به‌عنوان مسئول رسیدگی به استثناها تعیین کرده و زمان پاسخگویی مشخصی تعریف کنید تا فرایند بررسی مانع جریان کاری جاری نشود.
• ریشه‌یابی و عیب‌یابی: پیش از آموزش و هدایت کاربر، نشست‌های کم‌امتیاز را از نظر خطاهای محیط توسعه، تلاش‌های مجدد پی‌درپی، نیازمندی‌های نامشخص و انتخاب مدل‌های نامناسب بررسی کنید.
• اعتبارسنجی داخلی: نمرات ارائه‌شده توسط شرکت سازنده را با شاخص‌های اختصاصی تیم، مانند تغییرات پذیرفته‌شده (کدهای مرج‌شده)، رفع رخدادها و باگ‌ها، و پژوهش‌های تکمیل‌شده مقایسه کنید.
• حاکمیت داده‌ها: دسترسی به نمرات فردی اعضا را محدود کرده و قواعد مشخصی برای مدت‌زمان نگهداری سوابق مصرف تعیین کنید.

نمایش نمرات فردی به مدیران می‌تواند بر گفتگوهای مربوط به ارزیابی عملکرد کارکنان اثر بگذارد. هرچند کاگنیشن این شاخص را صرفاً معیاری برای تخصیص بودجه می‌داند و اعتبارسنجی منتشرشده آن نیز میزان تطابق با ساعات خوداظهاری کاربران را می‌سنجد، تیم‌ها باید برای ارزیابی عملکرد کارکنان به شواهد مستقل دیگری تکیه کنند و مطمئن شوند که این امتیازها به‌صورت سیستماتیک ارزش وظایفی چون نگهداری سیستم، تحقیقات فنی یا کارهای پیچیده را کمتر از حد واقعی تخمین نمی‌زند.