معرفی شاخص تخصصی Decision Index v1.0؛ نبرد مدل‌های تصمیم‌گیری برق‌آسا با غول‌های زبانی

معرفی شاخص تصمیم‌گیری (Decision Index)

در دنیای هوش مصنوعی، مدل‌های تصمیم‌گیری (Decision Models) در حال تبدیل شدن به یک دسته کاملاً تازه و پرطرفدار از ابزار‌ها هستند. بر خلاف مدل‌های زبانی سنتی (LLMها) که برای استدلال‌های طولانی، گپ زدن و تولید متن کلمه‌به‌کلمه طراحی شده‌اند، مدل‌های تصمیم‌گیری تمام تمرکز خود را روی یک هدف مشخص گذاشته‌اند: گرفتن تصمیم‌های ساختاریافته با حداکثر سرعت و حداقل هزینه ممکن.

با انتشار نسخه نخست شاخص مدل‌های تصمیم‌گیری (Decision Index v1.0)، معیاری شفاف و دقیق در اختیار مهندسان و شرکت‌ها قرار گرفته تا بتوانند موازنه میان توانایی، هزینه و سرعت این مدل‌ها را در مقایسه با یکدیگر و همچنین در برابر مدل‌های زبانی بزرگ ارزیابی کنند.

برای درک بهتر تفاوت، یک سناریوی روزمره را در نظر بگیرید؛ فرض کنید پیام پشتیبانی زیر از طرف یک کاربر ارسال شده است:

«کمک! واریزی‌های من سه روزه که انجام نمیشه و فردا باید اجاره‌خونه‌ام رو بدم. این وضعیت غیرقابل قبوله!»

حالا سیستم باید به سه پرسش اساسی پاسخ دهد: پیام به کدام تیم ارجاع داده شود (مالی، فنی یا حساب کاربری)؟ آیا پیام فوری است؟ و میزان ناراحتی مشتری چقدر است؟

در حالی که یک مدل زبانی معمولی باید چند صد توکن خروجی تولید کند و بعد متن توسط کد پارس شود، یک مدل تصمیم‌گیری تمام این پرسش‌ها را تنها در یک فراخوانی (Single Call) و در قالب گزینه‌های مشخص همراه با درصد احتمال هر گزینه جواب می‌دهد. این ویژگی نه تنها باعث کاهش چشمگیر هزینه‌ها و تأخیر پاسخ می‌شود، بلکه امکان ارزیابی دقیق کالیبراسیون و قابلیت اطمینان مدل را نیز فراهم می‌کند.

شاخص تصمیم‌گیری چه معیارهایی را می‌سنجد؟

در نسخه ۱.۰، این شاخص عملکرد مدل‌ها را در چهار بنچمارک تخصصی و در حوزه‌های طبقه‌بندی، فراخوانی ابزار، دانش، توهم و استدلال ارزیابی می‌کند که هر یک سهمی ۲۵ درصدی از نمره نهایی دارند:

• دانش و توهم (AA-Omniscience-Decision): شامل ۵۰۰ سؤال اختصاصی که در آن برای هر پرسش پنج گزینه تعریف شده است: چهار پاسخ احتمالی (که فقط یکی درست است) و یک گزینه نجات‌بخش با عنوان «نمی‌دانم». این آزمون به طور مساوی دقت پاسخ‌دهی (۱۲.۵ درصد) و نرخ پرهیز از توهم (۱۲.۵ درصد) را می‌سنجد.
• استدلال (HLE-MultiChoice): شامل ۵۱۳ سؤال چندگزینه‌ای متنی برگرفته از بنچمارک معروف Humanity's Last Exam که مرزهای توانایی استدلال مدل‌ها را به چالش می‌کشد.
• فراخوانی ابزار (When2Call): بنچمارک توسعه‌یافته توسط ان‌ویدیا (NVIDIA) که در آن مدل با بررسی یک مکالمه و مجموعه‌ای از ابزار‌ها تصمیم می‌گیرد آیا مستقیماً پاسخ دهد، ابزاری را فراخوانی کند، اطلاعات بیشتری بخواهد یا اعلام کند که قادر به پاسخ‌گویی نیست.
• طبقه‌بندی و ایمنی (WildGuardTest): مجموعه داده ارزیابی ایمنی از انستیتو هوش مصنوعی آلن (Ai2) که بررسی می‌کند آیا درخواست کاربر مخرب است، آیا پاسخ دستیار امتناع محسوب می‌شود و آیا پاسخ ارائه شده آسیب‌رسان است یا خیر.

جالب اینجاست که تمامی این بنچمارک‌ها روی مدل‌های زبانی بزرگ (LLMها) نیز اجرا شده‌اند؛ با این تفاوت که مدل زبانی گزینه‌ای را به صورت خروجی متنی ساختاریافته برمی‌گرداند، اما برخلاف مدل‌های تصمیم‌گیری، درصد احتمالی برای تک‌تک گزینه‌ها ارائه نمی‌دهد.

نتایج عملکرد مدل‌های تصمیم‌گیری

در جدول رده‌بندی شاخص، مدل Jev 1.13 با کسب نمره ۵۸ در جایگاه نخست تکیه زده و بالا‌تر از مدل‌های GLiDE و Microsoft-Decision-1 (هر دو با امتیاز ۵۴) قرار گرفته است.

مدل Jev 1.13 برتری اصلی خود را در بنچمارک استدلال HLE-MultiChoice به رخ کشید؛ جایی که با کسب امتیاز ۲۱ از تمام رقبا (که نمراتشان به زحمت به ۱۵ یا کم‌تر رسید) پیشی گرفت. البته در بنچمارک دانش و توهم، مدل Jev با نمره دقت ۳۵ پایین‌تر از رتبه نخست (مدل d1 از شرکت Liquid AI با امتیاز ۴۱) قرار گرفت، اما در بخش پرهیز از توهم با نمره ۳۵ دوم شد؛ در حالی که مدل d1 در پرهیز از توهم عملکرد بسیار ضعیفی داشت و تنها نمره ۲ را ثبت کرد.

در آزمون فراخوانی ابزار (When2Call)، مدل‌های Celeris-1 Decision و GLiDE از Fastino Labs با امتیاز ۸۴ پیشتاز هستند و Jev با نمره ۸۱ در رتبه چهارم قرار دارد. در بخش طبقه‌بندی ایمنی (WildGuardTest) نیز مدل GLiDE با نمره ۹۵ صدرنشین است و Jev 1.13 در کنار مدل Decider v1.1 27B از شرکت Perplexity با امتیاز ۹۴ عملکردی پایاپای به نمایش گذاشتند.

بهینگی خیره‌کننده در زمان و هزینه

یکی از هیجان‌انگیزترین بخش‌های این گزارش، تفاوت چشمگیر مدل‌ها در قیمت و سرعت پاسخ‌دهی است. هزینه پردازش این مدل‌ها از ۱۷ تا ۱۹۹ دلار به ازای هر یک میلیون وظیفه متغیر است و میانه زمان پاسخ‌دهی آن‌ها بین ۰.۰۶ تا ۰.۵ ثانیه نوسان می‌کند.

مدل Decider v1.1 27B متعلق به پِروپلِکسیتی (Perplexity) با تنها ۱۷ دلار به ازای هر یک میلیون تسک، ارزان‌ترین گزینه ممکن است. در مرز پارتو (Pareto Frontier) میان قابلیت و قیمت، مدل‌های Microsoft-Decision-1 با ۳۱ دلار و Jev 1.13 با ۴۲ دلار گزینه‌هایی بسیار ارزشمند و متعادل به حساب می‌آیند. در سوی دیگر، مدل GLiDE با وجود امتیازی هم‌سطح نماینده مایکروسافت، با برچسب قیمتی ۱۱۹ دلاری تقریباً سه برابر گران‌تر از Jev تمام می‌شود.

از نظر سرعت نیز مدل Celeris-1 Decision با میانه زمان ۰.۰۶ ثانیه در هر وظیفه، رکوردی استثنایی ثبت کرده و بیش از دو برابر سریع‌تر از Jev 1.13 (با زمان ۰.۱۳ ثانیه) وظایف را تحویل می‌دهد.

مدل‌های تصمیم‌گیری دچار اعتمادبه‌نفس کاذب هستند!

از آنجا که مدل‌های تصمیم‌گیری برای هر انتخاب درصدی از احتمال را معین می‌کنند، پژوهشگران می‌توانند کالیبراسیون آن‌ها را بررسی کنند: یعنی بسنجند که آیا وقتی مدل با احتمال ۹۰ درصد گزینه‌ای را انتخاب می‌کند، واقعاً در ۹۰ درصد مواقع درست می‌گوید یا خیر؟

یافته‌های این شاخص نشان می‌دهد که تقریباً در تمام سطوح احتمال، دقت واقعی مدل‌ها از عددی که ادعا می‌کنند پایین‌تر است! به بیان دیگر، مدل‌های تصمیم‌گیری دچار «بیش‌اطمینانی» یا اعتمادبه‌نفس کاذب هستند. ریشه این نقص به کالیبراسیون ضعیف آن‌ها در پرسش‌های دانشی و استدلالی (مانند HLE و AA-Omniscience) برمی‌گردد. با این حال، در سناریوهای کاربردی مثل فراخوانی ابزار و طبقه‌بندی ایمنی، مدل‌ها کالیبراسیون بسیار دقیق‌تر و واقع‌بینانه‌تری از خود نشان داده‌اند.

مقایسه مدل‌های تصمیم‌گیری با مدل‌های زبانی بزرگ

وقتی پای سرعت و اقتصاد به میان می‌آید، مدل‌های تصمیم‌گیری برتری خیره‌کننده‌ای نسبت به مدل‌های زبانی رایج دارند؛ اما در زمینه دانش و استدلال، مدل‌های زبانی همچنان پیشتاز میدان هستند.

برای مقایسه، مدل Claude Haiku 5.5 (با سطح پردازش Low) به امتیاز کلی ۶۱ دست یافت که ۳ نمره از Jev 1.13 بالا‌تر است. اما نکته اینجاست که هایکو با زمان ۱.۴ ثانیه در هر تسک، نزدیک به ۱۱ برابر کندتر از Jev (با زمان ۰.۱۳ ثانیه) عمل می‌کند و با هزینه ۱۸۴ دلار به ازای هر یک میلیون وظیفه، ۴.۴ برابر گران‌تر است! مدل GPT-6 Luna نیز با نمره ۵۵ و صرف ۱.۵ ثانیه زمان و ۱۳۱ دلار هزینه، حتی امتیازی پایین‌تر از مدل تصمیم‌گیر Jev کسب کرد.

با این حال، در بخش دانش عمومی، مدل‌های زبانی دست‌نیافتنی به نظر می‌رسند؛ کلود هایکو با امتیاز ۵۲ و جی‌پی‌تی-۶ لونا با امتیاز ۶۶ در آزمون دانش، عملکردی بسیار فراتر از دامنه ۲۸ تا ۴۱ مدل‌های تصمیم‌گیری نشان دادند. در نقطه مقابل، در وظایف روتین مانند طبقه‌بندی ایمنی و فراخوانی ابزار، مدل‌های تصمیم‌گیری نه‌تنها چیزی کم ندارند بلکه گاهی بهترند؛ برای نمونه، در تست فراخوانی ابزار When2Call مدل‌های Celeris-1 Decision و GLiDE به امتیاز ۸۴ رسیدند که بالا‌تر از GPT-6 Luna (امتیاز ۷۷) و Claude Haiku (امتیاز ۷۳) است.

هنر سکوت: دانستن این‌که چه زمانی نباید پاسخ داد

در ارزیابی‌های مربوط به توهم، گزینه «نمی‌دانم» گنجانده شده است تا عیار شناخت مدل از محدودیت‌های دانشی خود سنجیده شود. نرخ پرهیز از توهم (Non-Hallucination Rate) نشان‌دهنده درصد مواردی است که مدل به جای دادن پاسخی غلط و توهم‌آمیز، صادقانه گزینه «نمی‌دانم» را انتخاب کرده است.

در این شاخص، مدل Microsoft-Decision-1 با نرخ ۴۰ درصد در صدر جدول قرار گرفت و مدل‌های Jev 1.13 با ۳۵ درصد و Mercury Decide با ۳۲ درصد در رده‌های بعدی ایستادند. نکته قابل تأمل این است که هیچ‌کدام از دیگر مدل‌های تصمیم‌گیری حاضر در تست حتی نتوانستند به نرخ ۱۷ درصد دست پیدا کنند؛ واقعیتی که نشان می‌دهد جلوگیری از توهم در این دسته از مدل‌ها همچنان چالش بزرگی است.

بررسی و کاوش بیش‌تر

توسعه‌دهندگان و علاقه‌مندان می‌توانند برای بررسی عمیق‌تر این یافته‌ها، به بخش‌های مختلف این بررسی رجوع کنند:

• مشاهده امتیازات زنده و لحظه‌ای آخرین مدل‌های هوش مصنوعی در جدول رسمی شاخص تصمیم‌گیری.
• مطالعه دقیق جزئیات فنی و نحوه محاسبه امتیازات در صفحه متدولوژی شاخص.
• بررسی جداول رده‌بندی اختصاصی برای هر یک از چهار آزمون کلیدی شامل AA-Omniscience-Decision، HLE-MultiChoice، When2Call و WildGuardTest.