نسخه دوم شاخص Decision Index منتشر شد؛ ارزیابی هم‌زمان دقت و میزان اطمینان مدل‌های هوش مصنوعی

مجموعه Artificial Analysis از نسخه دوم شاخص Decision Index رونمایی کرد و جدول رتبه‌بندی مدل‌های تصمیم‌گیری را به‌طور اساسی بازطراحی نمود. این سیستم‌ها در قالب یک فراخوانی واحد API، از میان مجموعه‌ای ثابت از گزینه‌ها دست به انتخاب می‌زنند و برای هر گزینه یک احتمال مشخص تعیین می‌کنند. به‌روزرسانی جدید معیاری حساس به میزان اطمینان مدل معرفی می‌کند، سهم داده‌های ارزیابی محرمانه را افزایش می‌دهد و جایگاه مدل‌ها را در جدول رده‌بندی دگرگون می‌سازد.

نقش تعیین‌کننده میزان اطمینان در رتبه‌بندی جدید

معیار جدید Decision Score امتیاز هر سؤال را بر اساس فرمول 50 × (1 + c − (p − c)2) محاسبه می‌کند؛ در این رابطه، p بیانگر میزان اطمینان مدل به پاسخ انتخابی خود است و c برای پاسخ‌های درست برابر با ۱ و برای پاسخ‌های نادرست برابر با ۰ در نظر گرفته می‌شود.

• پاسخ درست: امتیاز از ۵۰ در حالت بدون اطمینان، تا ۱۰۰ در شرایط اطمینان کامل افزایش می‌یابد.
• پاسخ نادرست: امتیاز از ۵۰ در حالت بدون اطمینان، تا صفر در شرایط اطمینان کامل افت می‌کند.

در کل یک ارزیابی جامع، فرمول نهایی به‌صورت 50 × (1 + accuracy − Brier score) محاسبه می‌شود. شاخص Brier score میانگین مجذور اختلاف میان میزان اطمینان و صحت واقعی پاسخ‌ها را می‌سنجد؛ بنابراین، مقادیر کمتر در این شاخص نشان‌دهنده کالیبراسیون و انطباق کیفی بهتر مدل است. در این شیوه، مدل‌ها از پاسخ‌های درست پاداش دریافت می‌کنند، اما در صورت داشتن اطمینان بیش‌ازحد و کاذب به پاسخ‌های اشتباه، بخش عمده‌ای از امتیاز خود را از دست می‌دهند.

سیستم‌های هدایت ترافیک و مسیریابی در محیط‌های عملیاتی معمولاً انتخاب‌های یک مدل را تنها در صورتی می‌پذیرند که بالاتر از یک حد آستانه مشخص از اطمینان قرار داشته باشد؛ در غیر این صورت، موارد دارای اطمینان کمتر را به نیروی انسانی یا مدلی توانمندتر ارجاع می‌دهند. معیار Decision Score بازدهی مدل را در میانگین تمام آستانه‌های احتمالی می‌سنجد و به تیم‌های فنی اجازه می‌دهد پیش از تعیین حد آستانه نهایی برای بار کاری خود، عملکرد مدل‌ها را با یکدیگر مقایسه کنند.

در بنچمارک پردازش اسناد، مدل Clef به نرخ قبولی خام ۳۶ درصدی در برابر نرخ ۲۴ درصدی مدل Celeris-1.1 Decision دست می‌یابد. با این حال، Celeris با ثبت شاخص Brier score برابر با ۰٫۱۵ در مقایسه با رقم ۰٫۲۷ برای Clef، فاصله خود را در امتیاز Decision Score به‌شدت کاهش می‌دهد. در سرتاسر این شاخص نیز مدل GLiDE v1.2 از نظر دقت خام با نتیجه ۶۰ در برابر ۵۸ از Drex Max v1.1 پیشی می‌گیرد، اما با وارد شدن فاکتور کالیبراسیون به محاسبات، این مدل Drex است که جایگاه بالاتری را کسب می‌کند.

شش آزمون ارزیابی و اختصاص نیمی از داده‌ها به بخش محرمانه

شش ارزیابی تخصصی ساختار این شاخص را تشکیل می‌دهند که حوزه‌های پردازش اسناد، قضاوت در محیط کار، فراخوانی ابزارها، قابلیت اطمینان به حقایق، استدلال و پایداری در برابر تغییر پرامپت را در بر می‌گیرند.

آزمون‌های محرمانه در حال حاضر ۴۵ درصد از کل این شاخص را به خود اختصاص داده‌اند، در حالی که این رقم در نسخه اول تنها ۲۵ درصد بود. افزایش سهم داده‌های محرمانه فرصت بهینه‌سازی مستقیم مدل‌ها بر روی پرسش‌های شناخته‌شده بنچمارک را به حداقل می‌رساند. علاوه بر این، آزمون WildGuardTest به‌دلیل نزدیک شدن عملکرد مدل‌ها به سقف نهایی و کاهش امکان تمایز میان رقبای برتر، از مجموعه ارزیابی‌ها حذف شده است.

رقابت شانه به شانه سه مدل تخصصی در صدر جدول

سه مدل تخصصی تصمیم‌گیری با اختلافی کمتر از یک امتیاز در کنار یکدیگر قرار گرفته‌اند. مدل Drex Max v1.1 از شرکت Nace AI و مدل GLiDE v1.2 از Fastino Labs هر کدام موفق به کسب امتیاز ۷۳ شدند و پس از آن‌ها مدل Mammoth 27B از Base Labs با امتیاز ۷۲ در جایگاه بعدی ایستاد. مدل‌های زبانی عمومی تست‌شده امتیازات بالاتری به ثبت رساندند که در صدر آن‌ها مدل Claude Haiku 5.5 (Max) با امتیاز ۷۷ و مدل GPT-6 Luna (Max) با امتیاز ۷۶ قرار دارند، هرچند هزینه و زمان تأخیر آن‌ها به مراتب بیشتر است.

بیشترین شکاف عملکردی در آزمون AA-Paperclip مشاهده می‌شود؛ جایی که مدل Claude Haiku 5.5 (Max) موفق به قبولی در ۹۲ درصد اسناد شد و مدل GPT-6 Luna (Max) نرخ قبولی ۸۶ درصدی را به ثبت رساند. در میان مدل‌های تخصصی نیز Drex Max v1.1 و GLiDE v1.2 با کسب نرخ‌های قبولی ۶۳ و ۶۲ درصد در رتبه‌های برتر قرار گرفتند.

شرط قبولی در سطح سند، خطاهای فردی را بزرگ‌نمایی می‌کند؛ زیرا تنها یک پاسخ نادرست باعث رد شدن کامل کل سند می‌شود. مدل Drex به ۹۷ درصد از پرسش‌های منفرد پاسخ درست داده است که به رقم ۹۹ درصدی Haiku بسیار نزدیک است، اما در سطح قبولی کل سند به نرخ ۶۳ درصدی در برابر ۹۲ درصدی Haiku می‌رسد. در یک محاسبه تقریبی، نرخ موفقیت ۹۷ درصدی برای هر پاسخ منفرد، در مجموع ۱۵ پرسش مستقل منجر به نرخ قبولی نهایی حدود ۶۳ درصد می‌شود. طبق داده‌های ارزیابی، مدل‌های تخصصی بیشتر امتیازات خود را در مرحله تصمیم‌گیری پیرامون اسناد از دست می‌دهند، نه در استخراج داده‌های واقعی.

نقش ورودی‌های تکراری در افزایش چشمگیر هزینه‌ها

هزینه‌های اعلام‌شده در میان مدل‌های تصمیم‌گیری اختلافی بیش از ۶۰ برابری را نشان می‌دهند که از ۱۴ دلار به ازای هر یک میلیون وظیفه برای Celeris-1.1 Decision آغاز شده و تا ۸۵۹ دلار برای Clef افزایش می‌یابد. قیمت‌گذاری توکن‌ها از سوی ارائه‌دهندگان تنها بخشی از این اختلاف فاحش را توجیه می‌کند، چراکه مدل‌ها اسناد چندپرسشی را با شیوه‌های پردازشی متفاوتی مدیریت می‌کنند.

مدل‌های Drex Max v1.1 و Decider v1.2 ورودی یک سند را برای کل دسته پرسش‌ها تنها یک‌بار محاسبه و صورت‌حساب می‌کنند؛ در مقابل، مدل‌های GLiDE v1.2 و Decider Flash v1.2 هر سؤال را به‌صورت مجزا پردازش کرده و در هر چرخه، هزینه توکن‌های ورودی سند را مجدداً محاسبه می‌نمایند.

در ارزیابی AA-Paperclip، این الگوی اجرایی باعث می‌شود مدل GLiDE v1.2 به ازای هر تسک تقریباً ۶۳٬۰۰۰ توکن ورودی مصرف کند، در حالی که این رقم برای Drex Max v1.1 تنها ۹٬۰۰۰ توکن است. در نتیجه، هزینه مدل GLiDE به حدود ۷۸۰ دلار به ازای هر یک میلیون وظیفه می‌رسد، در حالی که Drex با هزینه ۱۰۲ دلاری کار را به پایان می‌رساند؛ اختلافی نزدیک به هشت برابر، در شرایطی که تعرفه اعلامی پایه آن تنها ۳۳ درصد گران‌تر است.

امتناع هوشمندانه از پاسخ و بهبود تقارن نتایج

آزمون AA-Symmetry بررسی می‌کند که آیا تغییرات کنترل‌شده در پرامپت باعث دگرگونی پاسخ یا سطح اطمینان مدل می‌شود یا خیر. آزمایشگاه Base Labs با مدل‌های Mammoth 27B (با امتیاز ۹۶) و Elephant 9B (با امتیاز ۹۳) پیشتاز این ارزیابی است. عملکرد درخشان آن‌ها تا حدی بازتاب‌دهنده امتناع مکرر از پاسخ‌دهی و ثبات پایدار در به‌کارگیری این امتناع در نگارش‌های مختلف پرامپت است.

مدل Mammoth در ۹۹ درصد سؤالات، علی‌رغم تغییر پرامپت، پاسخ یکسانی را برمی‌گزیند. این ثبات برای Drex Max v1.1 به ۹۱ درصد، برای GLiDE v1.2 به ۸۸ درصد و برای Clef به ۶۷ درصد می‌رسد. در نتیجه، مدل Clef در حدود یک‌سوم از سؤالات بازنویسی‌شده تصمیم خود را تغییر می‌دهد؛ امری که می‌تواند فرآیندهای اتوماسیون و ارجاع پرونده‌ها به کارشناسان را دگرگون سازد، حتی زمانی که شواهد و داده‌های زیربنایی ثابت مانده‌اند.

محیط عملیاتی و برتری ملموس مدل‌های تخصصی

مدل GPT-6 Luna (Max) تنها سه امتیاز بالاتر از Drex Max v1.1 قرار دارد، اما هزینه آن به ازای هر یک میلیون تسک نزدیک به ۱۵ برابر و زمان تأخیر آن حدود ۴۱ برابر بیشتر است. بر اساس داده‌های این بنچمارک، مدل Celeris-1.1 Decision هر وظیفه را ظرف تنها ۵۶ میلی‌ثانیه به پایان می‌رساند و مدل Mammoth 27B با وجود اختلاف تنها ۴ امتیازی با GPT-6 Luna، سرعتی نزدیک به ۱۱۸ برابر بیشتر دارد و تأخیر آن یک‌صدوهجدهم مدل رقیب است.

در سناریوهایی نظیر دسته‌بندی باحجم‌بالای تیکت‌ها، هدایت هوشمند درخواست‌های پشتیبانی و استخراج فیلدهای ساختاریافته، فاکتورهای هزینه و سرعت درست در کنار کیفیت اهمیت پیدا می‌کنند. مرز بهینگی پارتو (Pareto frontier) در این ارزیابی دربرگیرنده مدل‌هایی است که هیچ گزینه دیگری نمی‌تواند هم‌زمان امتیازی بالاتر، هزینه‌ای کمتر و سرعتی بیشتر از آن‌ها ارائه دهد.

با این حال، مقایسه‌های فنی در محیط‌های عملیاتی نیازمند بررسی‌های سفارشی متناسب با نوع بار کاری، فراتر از امتیازات کلی این شاخص هستند:

• رفتار در حد آستانه: سنجش دقت در موارد پذیرفته‌شده و حجم پرونده‌های نیازمند ارجاع به نیروی انسانی، بر اساس آستانه اطمینانی که در خط تولید تعریف شده است.
• ساختار و الگوی درخواست: محاسبه مجدد هزینه‌ها با در نظر گرفتن طول اسناد، تعداد پرسش‌ها، رفتار دسته‌بندی هم‌زمان و ارسال مکرر محتوا.
• سیاست مواجهه با خطا: ارزیابی نحوه مدیریت امتناع از پاسخ، آزمون با تغییر پرامپت‌ها و سنجش معیارهای قبولی در سطح کل سند، متناسب با سقف خطای مجاز در سامانه.