رونمایی از MentalHealthBench؛ ابزار جدید OpenAI برای ارزیابی هوش مصنوعی در چالش‌های روزمره روانی

بنچمارک MentalHealthBench هوش مصنوعی را فراتر از واکنش به بحران ارزیابی می‌کند

بسیاری از ارزیابی‌های عمومی در حوزه سلامت روان بر این موضوع تمرکز دارند که آیا یک مدل هوش مصنوعی در طول یک بحران فوری پاسخی امن می‌دهد یا خیر. این تاکید باعث می‌شود بخش عمده‌ای از مواردی که در محصولات چت دیده می‌شود نادیده گرفته شوند: استرس روزمره، درگیری‌های عاطفی، سوالات مراقبتی و پریشانی‌های مبهم. بنچمارک MentalHealthBench شرکت OpenAI پاسخ‌های مدل را در این طیف گسترده‌تر مورد ارزیابی قرار می‌دهد.

پوشش گسترده از استرس روزمره تا شرایط اورژانسی

شرکت OpenAI این بنچمارک را با همکاری بیش از ۸۰ روان‌شناس و روان‌پزشک متخصص از ۲۲ کشور ایجاد کرده است. این گروه به ۱۹ زبان صحبت می‌کردند و نماینده نزدیک به ۲۰ تخصص فرعی در حوزه سلامت روان بودند.

این ارزیابی بزرگسالان، نوجوانان، مراقبان و پزشکان بالینی را در زبان‌ها، مناطق و موضوعات مختلف پوشش می‌دهد. سناریوهای آن در سه سطح شدت دسته‌بندی می‌شوند:

• غیر حاد: گفتگوهای روزمره که شامل استرس یا فشارهای عاطفی هستند.
• حاد: نگرانی‌های جدی یا پریشانی‌های قابل‌توجه بدون وجود اورژانس فوری.
• اورژانسی: نگرانی‌های فوری ایمنی که نیازمند پشتیبانی و مداخله در دنیای واقعی هستند.

تیم توسعه‌دهنده از روش‌های حفظ حریم خصوصی برای ایجاد گفتگوهای مصنوعی استفاده کرده‌اند که الگوهای واقعی استفاده از خدمات سلامت روان را بدون انتشار پیام‌های خصوصی کاربران شبیه‌سازی می‌کند.

معیارهایی که گفتگو به گفتگو ساخته شده‌اند

هر گفتگوی مصنوعی یک معیار نوشته‌شده توسط متخصصان دریافت می‌کند تا پاسخ مدل به آخرین پیام کاربر ارزیابی شود. فرآیند نمره‌دهی شامل سه مرحله اصلی است:

1. متخصصان معیارهای خاصی را تعریف می‌کنند. هر معیار یک رفتار را می‌سنجد؛ مانند پرسیدن یک سوال مرتبط، درک و تایید پریشانی کاربر، یا ارائه راهنمایی مناسب.
2. معیارها وزن‌های بالینی دریافت می‌کنند. امتیازات بین -۱۰ تا +۱۰ مت متغیر هستند. مقادیر مثبت به رفتارهای مفید پاداش می‌دهند، مقادیر منفی رفتارهای مضر را جریمه می‌کنند و مقادیر مطلق بزرگتر نشان‌دهنده اهمیت بالینی بیشتر است.
3. اجماع معیارها را فیلتر می‌کند. حداقل سه متخصص هر گفتگو را بررسی می‌کنند. یک معیار تنها زمانی باقی می‌ماند که حداقل دو نفر با آن موافق باشند و هیچ بازبینی‌کننده‌ای با آن مخالفت نکند.

یک نمره‌دهنده خودکار پاسخ‌های مدل را با معیارهای تاییدشده مقایسه می‌کند که به OpenAI و پژوهشگران خارجی اجازه می‌دهد بسیاری از خروجی‌ها را به شکلی پایدار و یکپارچه ارزیابی کنند.

ده سیگنال در دل نمرات کلی

بنچمارک MentalHealthBench علاوه بر نتیجه کلی، ده بعد از رفتار مدل را نیز گزارش می‌دهد. این گزارش بر قابلیت‌هایی مانند جستجوی زمینه‌های مرتبط، حفظ استقلال کاربر و ارائه راهنمایی‌های عملی تاکید می‌کند. بنابراین، دو مدل با مجموع امتیازات مشابه ممکن است خطرات محصول متفاوتی داشته باشند.

نتایج در سطح رفتار می‌توانند به تیم‌ها کمک کنند تا نقص‌هایی را که یک نمره کلی پنهان می‌کند، بیابند. برای مثال، ممکن است یک مدل ضمن ارائه توصیه‌های کاربردی، فرضیات اثبات‌نشده‌ای مطرح کند یا بدون جمع‌آوری زمینه کافی برای تفسیر یک موقعیت مبهم، پاسخی گرم و صمیمی بدهد.

بنا بر اعلام OpenAI، مدل‌های پیشرفته‌تر و جدیدتر در این ارزیابی عملکرد بهتری دارند؛ به‌ویژه زمانی که باید تصمیم بگیرند چه زمان نیاز به دریافت زمینه بیشتر است. نتایج در سطح مدل، به جای یک جدول رده‌بندی منفرد، در قالب نمودارهای گزارش ارائه شده‌اند.

کاربران و پزشکان بالینی به ویژگی‌های متفاوتی امتیاز می‌دهند

یک مطالعه تکمیلی، معیارهای متخصصان را با بازخورد ۴۴ فرد بالغ که از هوش مصنوعی برای سلامت روان یا پشتیبانی عاطفی استفاده کرده بودند، مقایسه کرد. شرکت‌کنندگان از ۱۶ کشور بودند و به ۱۴ زبان صحبت می‌کردند.

کاربران اهمیت بیشتری برای لحن پاسخ‌ها و مراحل عملی بعدی قائل بودند. در مقابل، پزشکان بالینی بر جمع‌آوری زمینه مرتبط و تفسیر دقیق گفته‌های مبهم تاکید داشتند. نمره‌دهی نهایی این بنچمارک بر اساس اجماع متخصصان انجام می‌شود، بنابراین امتیازات آن اولویت‌های بالینی را بسیار مستقیم‌تر از ترجیحات کاربران بازتاب می‌دهد.

این تفاوت، دو هدف ارزیابی مجزا را در اختیار تیم‌های محصول قرار می‌دهد. معیارهای بالینی می‌توانند ایمنی و قضاوت را بسنجند، در حالی که تحقیقات کاربری می‌توانند ارزیابی کنند که آیا پاسخ‌ها قابل درک، محترمانه و در عمل مفید هستند یا خیر.

تیم‌های محصول چه چیزی را می‌توانند آزمایش کنند

گفتگوهای مرتبط با سلامت روان ممکن است حتی در محصولات چت با کاربرد عمومی نیز ظاهر شوند؛ حتی زمانی که پشتیبانی عاطفی هدف اصلی آن محصول نباشد. این بنچمارک چندین جزء در اختیار توسعه‌دهندگان قرار می‌دهد که می‌توانند پیش از انتشار از آن‌ها استفاده کنند:

• طراحی ارزیابی قابل استفاده مجدد: تیم‌ها می‌توانند از روش معیارهای وزن‌دهی‌شده و مختص گفتگو که در MentalHealthBench استفاده می‌شود، الگوبرداری کنند.
• عیب‌یابی در سطح رفتار: امتیازات مربوط به جستجوی زمینه، استقلال کاربر و راهنمایی‌های عملی می‌توانند به طراحی دستورات سیستم، انتخاب مدل، مسیریابی ابزارها و سیاست‌های ارجاع کمک کنند.
• سناریوهای نوجوانان: یک مسیر اختصاصی بررسی‌شده توسط پزشکان بالینی سلامت روان نوجوانان می‌تواند از آزمایش محصولاتی که برای کاربران زیر ۱۸ سال در دسترس هستند، پشتیبانی کند.
• مقایسه‌های تکرارپذیر: توسعه‌دهندگان می‌توانند سناریوهای مشابه را روی مدل‌های کاندیدا، دستورات و پیکربندی‌های ایمنی اجرا کنند تا افت کیفیت و پسرفت‌ها را شناسایی کنند.

محدودیت‌های بنچمارک

بنچمارک MentalHealthBench پاسخ‌ها به سناریوهای مصنوعی تعریف‌شده را می‌سنجد. این ابزار ثابت نمی‌کند که یک مدل از نظر بالینی بی‌خطر است، برای درمان مناسب است یا در طول گفتگوهای طولانی‌مدت قابل‌اعتماد عمل می‌کند. داده‌های مصنوعی همچنین ممکن است جزئیات و الگوهای تعاملی موجود در استفاده واقعی را نادیده بگیرند.

نمره‌دهی خودکار منبع دیگری از خطا را وارد می‌کند، به‌ویژه برای پاسخ‌های ظریف یا مرزی. ارزیابی‌های پیش از تولید نهایی باید نمرات بنچمارک را با بررسی‌های پزشکان بالینی، تست‌های تقابلی، کنترل‌های حریم خصوصی، تدابیر امنیتی متناسب با سن و رویه‌هایی برای ارجاع موارد فوری به کمک‌های دنیای واقعی ترکیب کنند.

مقاله پژوهشی این پروژه، فرآیند ساخت مجموعه داده، روش نمره‌دهی و نتایج مدل‌ها را مستند کرده است. شرکت OpenAI این بنچمارک را برای ارزیابی‌های خارجی منتشر کرده و روشی مشترک برای آزمایش پاسخ‌های مرتبط با سلامت روان در اختیار پژوهشگران و توسعه‌دهندگان قرار داده است؛ در حالی که ضرورت نظارت بالینی همچنان حفظ شده است.