شناسایی دقیق باگ‌های پنهان نرم‌افزاری با هوش مصنوعی؛ فریمورک SemLoc ابزارهای سنتی را پشت سر گذاشت

بسیاری از روش‌های سنتی مکان‌یابی خطا در برنامه‌نویسی بر این فرض استوارند که یک آزمون ناموفق، مسیر یا خطوط کدی متفاوت از یک آزمون موفق را اجرا می‌کند. با این حال، نقص‌ها و باگ‌های معنایی این فرض را کاملاً زیر سؤال می‌برند؛ زیرا در این نوع باگ‌ها، هر دو آزمون ممکن است دقیقاً خطوط یکسانی از کد را اجرا کنند ولی متغیرها مقادیر نادرستی را حمل نمایند. اکنون پژوهشگران دانشگاه کالیفرنیا، ریورساید (UC Riverside) و بخش تحقیقات سیسکو (Cisco Research) فریمورکی به نام SemLoc را معرفی کرده‌اند که ویژگی‌های استخراج‌شده توسط مدل‌های زبانی بزرگ را به قیدهای اجرایی تبدیل می‌کند، این قیدها را در حین اجرای آزمون‌ها می‌سنجد و در نهایت، خطوط مشکوک کد منبع را رتبه‌بندی می‌نماید.

مقاله پیش‌انتشار این پژوهش نشان می‌دهد که SemLoc در یک بنچمارک شامل ۲۵۰ برنامه پایتون، به‌دقت مکان‌یابی خطای ۴۲٫۸ درصدی در اولین پیشنهاد (Top-1) و ۶۸٫۰ درصدی در سه پیشنهاد اول (Top-3) دست یافته است. این در حالی است که روش کلاسیک پوشش‌محور Ochiai تنها به‌دقت ۶٫۴ درصدی در پیشنهاد اول می‌رسد. علاوه بر این، SemLoc مجموعه خطوط مشکوک را به حدود ۷٫۶ درصد از کل خطوط قابل اجرا کاهش می‌دهد. شاخص دقت Top-k که با نماد Acc@k نیز شناخته می‌شود، نشان می‌دهد که خط دارای باگ با چه بسامدی در میان k نتیجه برتر سیستم قرار می‌گیرد.

ناتوانی روش‌های مبتنی بر پوشش کد در تشخیص خطاهای مقداری

روش‌های مکان‌یابی خطا مبتنی بر طیف کد یا SBFL ثبت می‌کنند که هر آزمون چه دستوراتی را اجرا کرده است و سپس این پوشش کدی را با نتایج قبولی یا ردی آزمون تطبیق می‌دهند. در این الگو، خطی که بیشتر توسط آزمون‌های ناموفق اجرا شده باشد، امتیاز سوءظن بالایی دریافت می‌کند. اما زمانی که تمام آزمون‌ها دقیقاً مسیر یکسانی را در کد طی می‌کنند، تمامی خطوط اجراشده امتیازی یکسان یا بسیار نزدیک به هم می‌گیرند. خطاهای محاسباتی، اشتباه در شرایط مرزی، فراموشی نرمال‌سازی داده‌ها و به‌کارگیری عملگرهای رابطه‌ای نادرست، از جمله مواردی هستند که معمولاً چنین رفتاری ایجاد می‌کنند.

نمونه موردی بررسی‌شده در SemLoc، پیاده‌سازی ناپایدار تابع ریاضی softmax است. در نسخه پایدار این تابع، بیشینه مقدار ورودی پیش از به توان رساندن تفریق می‌شود؛ مانند عبارت x - m. اما در نسخه معیوب، به اشتباه از عبارت x + m استفاده شده است که شاید برای ورودی‌های کوچک نتایجی به‌ظاهر معقول بدهد، اما در ورودی‌های بزرگ به تولید مقادیر نامعتبر NaN منجر می‌شود. در این سناریو، تمامی آزمون‌ها دستورات یکسانی را با ترتیبی کاملاً مشابه اجرا می‌کنند و در نتیجه، ابزارهای پوشش کد سنتی نمی‌توانند این جابه‌جایی نادرست را از سایر محاسبات ریاضی تشخیص دهند.

پیش‌بینی مستقیم توسط یک مدل زبانی بزرگ می‌تواند یک خط از کد را به‌عنوان منبع خطا پیشنهاد دهد، اما این پیش‌بینی فاقد هرگونه شواهد تجربی در زمان اجرا است که بتوان آن را در میان آزمون‌های گوناگون مقایسه کرد. همچنین اگر مدل به متغیری اشاره کند که چندین بار در بخش‌های مختلف تعریف شده، ممکن است موقعیت باگ مبهم بماند. فریمورک SemLoc هر دو چالش را برطرف می‌کند؛ به این ترتیب که ویژگی‌های پیشنهادی مدل را مستقیماً به مقادیر واقعی برنامه در زمان اجرا پیوند می‌زند و صحت آن ویژگی‌ها را در حین اجرای کد ارزیابی می‌کند.