رونمایی از بنچمارک DeepFinance؛ سنجش عملکرد ایجنت‌های هوش مصنوعی در تحلیل‌های مالی و سرمایه‌گذاری

معرفی DeepFinance

بنچمارک DeepFinance یک معیار سنجش پیشرفته و فوق‌العاده طولانی‌مدت برای ایجنت‌های هوش مصنوعی در حوزه مالی است که توسط آزمایشگاه Julius Research در سان‌فرانسیسکو منتشر شده است؛ این تیم سازنده دستیار تحلیل داده Julius با بیش از ۲ میلیون کاربر است که در مراکزی چون دانشکده بازرگانی هاروارد و انویدیا مورد استفاده قرار می‌گیرد. این بنچمارک با هدف سنجش دقیق مدل‌های هوش مصنوعی در فرآیندهای واقعی سرمایه‌گذاری خصوصی (Private Equity) و بانکداری سرمایه‌گذاری (Investment Banking) طراحی شده و جزئیات آن در وب‌سایت رسمی DeepFinance در دسترس است.

مقیاس و ابعاد رسمی این بنچمارک شامل موارد زیر است:

• ۲۱ وظیفه مبتنی بر معاملات و پرونده‌های مالی واقعی
• میانگین حدود ۲۷٫۱ ساعت کار انسانی برای هر وظیفه
• حدود ۸۴ معیار ارزیابی دقیق به ازای هر وظیفه
• حدود ۱۹ فایل اطلاعاتی به ازای هر اتاق داده (Data Room)
• ۱۰ بار تلاش برای هر وظیفه همراه با محاسبه میانگین درصد معیارها و بازه اطمینان آماری ۹۵ درصدی

بر اساس آخرین به‌روزرسانی جدول رده‌بندی، مدل Claude Opus 5.5 با کسب امتیاز ۵۴٫۸ درصد در صدر جدول قرار دارد و پس از آن مدل‌های Claude Sonnet 5.5 با ۵۴٫۶ درصد، GPT-6 Astra با ۵۴٫۲ درصد و GPT-6.1 Sol با ۵۲٫۹ درصد در رتبه‌های بعدی جای گرفته‌اند؛ آماری که نشان می‌دهد حتی پیشرفته‌ترین پیکربندی‌های هوش مصنوعی هنوز فاصله زیادی تا تکمیل کامل این وظایف در سطح کارشناسان انسانی دارند. علاوه بر این، در وب‌سایت بنچمارک نمودار امتیاز در برابر هزینه و تعداد توکن‌های مصرفی نیز با مرز پارتو ترسیم شده است تا بهره‌وری اقتصادی هر مدل مشخص شود.

تحلیل و بررسی

چرا این بنچمارک اهمیت دارد؟

بیشتر آزمون‌ها و بنچمارک‌های موجود در زمینه ارزیابی ایجنت‌های هوش مصنوعی مالی، مبتنی بر سؤالات کوتاه‌پاسخ یا آزمون‌های چندگزینه‌ای هستند. در نقطه مقابل، DeepFinance مدل‌ها را وارد فرآیندهای معاملاتی چندده‌ساعته و واقعی می‌کند و به‌جای اتکا به یک نتیجه ساده قبولی یا رد، از معیارهای ارزیابی جزئی‌نگر بهره می‌برد؛ رویکردی که عملکرد مدل را به خروجی واقعی تحلیلگران ارشد در صندوق‌های خصوصی و بانک‌های سرمایه‌گذاری بسیار نزدیک‌تر می‌سازد.

جایگاه و تمایز بنچمارک

این بنچمارک یک آزمون پرسش‌وپاسخ مالی عمومی یا یک شبیه‌سازی کوتاه معاملاتی نیست؛ بلکه تمرکز بنیادین آن بر تحلیل اسناد اتاق داده، استفاده مداوم از ابزارها در بازه‌های زمانی بسیار طولانی و معیارهای دقیق و قابل حسابرسی است. هم‌چنین درج داده‌های مربوط به هزینه و میزان توکن مصرفی به توسعه‌دهندگان کمک می‌کند تا مدلی با بهترین تعادل میان کارایی و هزینه اقتصادی را انتخاب کنند.

محدودیت‌ها و چالش‌ها

• امتیازها بر اساس زیرساخت آزمایشی ارائه‌دهنده ثبت شده‌اند و بازتولید مستقل این نتایج به‌دلیل بار پردازشی سنگین، بسیار هزینه‌بر خواهد بود.
• مدل‌های برتر فعلی امتیازی در حدود ۵۵ درصد کسب کرده‌اند، بنابراین با کالیبراسیون معیارهای ارزیابی و ارتقای مدل‌ها، سقف این رکوردها در آینده تغییر خواهد کرد.
• تمرکز این بنچمارک بر حوزه سرمایه‌گذاری خصوصی و بانکداری سرمایه‌گذاری است و نتایج آن را نمی‌توان به تمام امور و شاخه‌های متنوع مالی تعمیم داد.

کاربردها

این بنچمارک برای چه کسانی مناسب است؟

• تیم‌هایی که در حال ساخت ایجنت‌های هوش مصنوعی تخصصی مالی یا سیستم‌های ارزیابی طولانی‌مدت برای عامل‌ها هستند.
• متخصصانی که قصد دارند بر اساس نسبت کیفیت به هزینه، مناسب‌ترین مدل را از جدول رسمی انتخاب کنند.
• پژوهشگرانی که خط سیر تحقیقات و ارزیابی‌های آزمایشگاه Julius Research را دنبال می‌کنند.

راهنمای شروع به کار

1. برای آشنایی با ساختار وظایف و مشاهده جدول کامل رده‌بندی، به وب‌سایت رسمی DeepFinance مراجعه کنید.
2. از جدول ارزیابی امتیاز، هزینه و توکن برای انتخاب بهینه‌ترین پیکربندی‌ها متناسب با نیاز خود بهره بگیرید.
3. به تاریخ به‌روزرسانی نتایج توجه داشته باشید تا آخرین تغییرات مدل‌ها را مد نظر قرار دهید.
4. در صورتی که قصد اجرای محلی این آزمون را دارید، پیش از مقایسه آمار حتماً تعداد تلاش‌ها و معیارهای سنجش را به‌طور یکسان تنظیم کنید.