پژوهش مایکروسافت: تست بازتولید خطا کارایی ایجنت‌های کدنویسی را ۴۴ امتیاز ارتقا می‌دهد

پیش از آنکه یک ایجنت مهندسی نرم‌افزار بتواند مشکلی (Issue) را در گیت‌هاب برطرف کند، باید بخش‌های مرتبط کد را پیدا کند، توابع اطراف آن را بسنجد، APIهای لازم را تشخیص دهد، خطا را بازتولید کند و آزمون‌های رگرسیون را به اجرا درآورد. بیشتر تحقیقات تاکنون این توانایی‌ها را به‌صورت مجزا ارزیابی کرده‌اند و همین مسئله باعث شده توسعه‌دهندگان تصویر روشنی از میزان تأثیر واقعی هر فاکتور بر موفقیت پچ اصلاحی نداشته باشند.

پژوهشگران مایکروسافت و مؤسسه فناوری جورجیا (Georgia Tech) در مقاله پژوهشی ORACLE-SWE دقیقاً به همین پرسش پرداخته‌اند. آن‌ها در هر نوبت، نسخه‌ای بی‌نقص و مبتنی بر بنچمارک از یکی از این نشانه‌های میانی را در اختیار ایجنت قرار دادند و میزان پیشرفت حاصل را سنجیدند. نتایج نشان داد که آزمون‌های بازتولید خطا به‌تنهایی دستاوردی فراتر از مجموع چهار نشانه دیگر به‌همراه دارند.

پنج مؤلفه کلیدی پشت هر پچ اصلاحی

ایجنت‌های مهندسی نرم‌افزار مانند Agentless، SWE-agent، OpenHands و Claude Code به‌طور مداوم پنج نوع داده میانی تولید می‌کنند. طبقه‌بندی این مقاله پژوهشی، مؤلفه‌های یادشده را بر اساس منبع و هدف دسته‌بندی کرده است:

• آزمون بازتولید (Reproduction test): تستی از نوع Fail-to-Pass که بررسی می‌کند آیا پچ اصلاحی، رفتار مورد نظر را برآورده می‌سازد یا خیر.
• آزمون رگرسیون (Regression test): تستی از نوع Pass-to-Pass که اطمینان می‌دهد رفتارهای پیشین سیستم بدون آسیب و سالم باقی مانده‌اند.
• موقعیت ویرایش (Edit location): فایل‌ها، توابع و محدوده‌های خطوطی از کد که نیاز به تغییر دارند.
• زمینه اجرا (Execution context): پشته فراخوانی (Call Stack) و کدهای پیرامون محل وقوع خطا.
• به‌کارگیری API (API usage): توابع داخلی یا خارجی مورد نیاز برای رفع مشکل، به‌همراه تعاریف و مستندات آن‌ها.

هر یک از این مؤلفه‌ها بازتاب‌دهنده توانمندی متفاوتی در هوش مصنوعی است: درک نیازمندی‌ها، حفظ عملکرد سیستم، مکان‌یابی کد، ردگیری اجرای برنامه یا استخراج جزئیات پیاده‌سازی. اندازه‌گیری مستقل هر فاکتور مشخص می‌کند که ارتقای کدام اطلاعات، بیشترین بازدهی و بهبود عملکرد را خلق می‌کند.

پژوهشگران برای استخراج نسخه مرجع یا معیار حقیقت زمینه‌ای (Ground-truth) هر نشانه، استخراج‌کننده‌هایی قاعده‌محور را مستقیماً از داده‌های SWE-bench طراحی کردند. در این شیوه، محل ویرایش‌ها از روی پچ مرجع به دست می‌آید؛ تست‌های Fail-to-Pass و Pass-to-Pass آزمون‌های بازتولید و رگرسیون را فراهم می‌کنند و بدنه تست‌ها از طریق تحلیل درخت نحو (Syntax-tree Parsing) بازیابی می‌شود. همچنین برای وظایف زبان پایتون، پوشش زمان اجرا (Runtime Coverage) APIهای مرتبط را مشخص می‌سازد و برای زبان Go، تحلیل نوع ایستا (Static Type Analysis) فراخوانی‌ها و تعاریف توابع را تعیین می‌کند.