بنچمارک جدید ScoringBench با ارزیابی دقیق عدم‌قطعیت، جدول رده‌بندی هوش مصنوعی را دگرگون کرد

تغییر رده‌بندی مدل‌های جدولی با معیارهای احتمالاتی ScoringBench

مدل‌های پایه داده‌های جدولی مانند TabPFN و TabICL قادرند برای هر ورودی یک توزیع پیش‌بینانه تولید کنند و به هر یک از مقادیر احتمالی هدف، یک وزن احتمالاتی اختصاص دهند. بااین‌حال، اکثر بنچمارک‌های رگرسیون این خروجی غنی را به یک برآورد تک‌نقطه‌ای کاهش می‌دهند و عملکرد مدل را صرفاً با معیارهایی نظیر خطای جذر میانگین مربعات (RMSE) یا ضریب تعیین ($R^2$) می‌سنجند. اکنون پژوهشگران در مقاله علمی ScoringBench کل این توزیع احتمالی را ارزیابی کرده و دریافته‌اند که این شیوه سنجش، رده‌بندی مدل‌ها را به‌شکلی محسوس دستخوش تغییر می‌کند.

معیارهای تک‌نقطه‌ای؛ نادیده گرفتن عدم‌قطعیت در ارزیابی هوش مصنوعی

معیار RMSE فاصله میان پیش‌بینی تک‌نقطه‌ای و مقدار واقعی مشاهده‌شده را محاسبه می‌کند و ضریب تعیین ($R^2$) نیز نشان می‌دهد پیش‌بینی‌ها چه میزان از تغییرات متغیر هدف را توجیه می‌کنند. در این میان، شاخص‌های حیاتی دیگری مانند پوشش، کالیبراسیون، عرض بازه اطمینان و احتمالات دم توزیع کاملاً بدون ارزیابی باقی می‌مانند؛ درحالی‌که یک توزیع پیش‌بینانه، هم‌زمان اطلاعاتی چون میانگین، میانه، چندک‌ها، بازه‌های پیش‌بینی و ریسک‌های دنباله را در قالب یک پیش‌بینی واحد در اختیار ما می‌گذارد.

این متغیرها به‌ویژه زمانی اهمیت دوچندان پیدا می‌کنند که خطاهای محاسباتی، هزینه‌های نامتقارن به بار بیاورند. برای نمونه، دست‌کم گرفتن خسارت‌های بیمه‌ای، پاسخ بیمار به دارو، تقاضای انبار یا ریسک‌های مالی، پیامدهایی کاملاً متفاوت با برآورد بیش‌ازحد آن‌ها به‌همراه دارد. یک پیش‌بینی میانگین به‌تنهایی هرگز نمی‌تواند دامنه تغییرات یا احتمال وقوع هر یک از این نتایج احتمالی را مشخص کند.

قواعد امتیازدهی استاندارد (Proper Scoring Rules) با ترکیب دقت پیش‌بینی و کیفیت سنجش عدم‌قطعیت، به ارزیابی مدل‌های احتمالاتی می‌پردازند. تحت یک قاعده کاملاً استاندارد و دقیق، مدل پیش‌بینی‌کننده تنها زمانی جریمه انتظاری خود را به حداقل می‌رساند که توزیع پیش‌بینانه واقعی‌اش را گزارش کند. هرچند این قواعد در پیش‌بینی وضع هوا و دسته‌بندی‌های احتمالاتی کاملاً جاافتاده و مرسوم هستند، اما جدول‌های رده‌بندی رگرسیون تاکنون کمتر به‌صورت یکپارچه و منسجم از آن‌ها استفاده کرده‌اند.

جزئیات ارزیابی در بنچمارک ScoringBench

بنچمارک ScoringBench رگرسیون احتمالاتی داده‌های جدولی را در ۹۷ مجموعه‌داده مختلف از حوزه‌های گوناگون مورد سنجش قرار می‌دهد. این معیار در کنار معیارهای سنتی و تک‌نقطه‌ای، نتایج شاخص‌های پیشرفته‌ای چون CRPS، نسخه وزن‌دار CRPS، امتیاز بازه‌ای (Interval Score)، امتیاز انرژی (Energy Score) و CRLS را نیز گزارش می‌کند. مدل‌های ارزیابی‌شده در این پژوهش شامل مدل‌های یادگیرنده در کانتکست (In-Context Learners)، مدل‌های پایه فاین‌تیون‌شده، درخت‌های تقویت گرادیان (Gradient-Boosted Trees) و پرسپترون‌های چندلایه (MLP) هستند. از جمله برجسته‌ترین شرکت‌کنندگان این آزمون می‌توان به مدل TabICL و نسخه‌های مختلف realTabPFNv2.5 اشاره کرد که با اهداف و قواعد امتیازدهی متفاوتی بهینه‌سازی شده‌اند.