بنچمارک PersonalityBench سبک گفت‌وگو، لحن و ویژگی‌های شخصیتی مدل‌های هوش مصنوعی را می‌سنجد

شاخص‌های شخصیتی PersonalityBench

نمونه پرسش‌ها، پاسخ‌ها و شیوه نمره‌دهی

نحوه کارکرد PersonalityBench

دو مدل مختلف ممکن است به یک پرسش، پاسخ‌هایی کاملاً درست و مشابه بدهند، اما حس و تجربه کاربری حاصل از گفت‌وگو با آن‌ها کاملاً متفاوت باشد. بنچمارک PersonalityBench دقیقاً برای اندازه‌گیری چنین تفاوت‌هایی طراحی شده است؛ نمره‌های این ارزیابی مشخص می‌کنند که یک مدل در حالت پیش‌فرض (بدون هیچ پرامپت سیستمی) چگونه می‌نویسد. از آنجا که ویژگی‌های لحنی بر اساس ترجیحات و سلایق فردی می‌توانند مثبت، خنثی یا منفی تلقی شوند، این سیستم صرفاً شدت بروز هر ویژگی را می‌سنجد، نه اینکه مطلوب بودن یا نبودن آن را قضاوت کند.

1. ۱

   طراحی پرسش‌ها و پاسخ‌های مدل

   برای هر یک از ۳۰ ویژگی رفتاری، ۳۰ پرسش اختصاصی طراحی شده است (در مجموع ۹۰۰ پرسش).

   مدل‌ها

   + ۳۱ مدل دیگر

   ۳۰ ویژگی × ۳۰ پرسش = ۹۰۰ پرسش

   قدرت بیان و لحن کلام (Expressiveness)

   تنوع واژگانی (Lexically Varied)

   فصیح و رسا (Eloquent)

   ادبی و منسجم (Literate)

   بیان طبیعی (Natural Sounding)

   استعاری و تمثیلی (Metaphorical)

   سازمان‌دهی و ساختار (Organization)

   ساختاریافته (Structured)

   اسکن‌پذیر و خوش‌خوان (Scannable)

   خلاصه نتیجه‌گیری در انتها (Bottom-Line Summary)

   ارائه پاسخ در ابتدا (Answer First)

   بار اطلاعاتی (Informativeness)

   چگالی اطلاعاتی بالا (Information Dense)

   مبتنی بر شواهد (Evidence-Based)

   ارجاع دقیق به منابع (Resource-Specific)

   راهنمایی‌های عملی و کاربردی (Actionable Guidance)

   واقع‌گرایانه و عمل‌گرایانه (Pragmatic)

   شفافیت و صداقت (Transparency)

   صادق و راستگو (Truthful)

   پذیرش عدم قطعیت (Admits Uncertainty)

   شفاف‌سازی فرضیات (Disclaims Assumptions)

   توجه به ظرافت‌ها و پیچیدگی‌ها (Flags Nuances)

   تملق‌آمیز و بله‌قربان‌گو (Sycophantic)

   صمیمیت و گرما (Warmth)

   دوستانه (Friendly)

   شوخ‌طبع (Humorous)

   صمیمانه و بی‌ریا (Sincere)

   دارای هوش هیجانی (Emotionally Intelligent)

   قاطعیت و باورمندی (Conviction)

   صریح و مستقیم (Direct)

   بااعتمادبه‌نفس (Confident)

   صاحب‌نظر و قاطع (Opinionated)

   مخالفت سازنده (Constructive Pushback)

   تخیل و نوآوری (Imagination)

   خلاقانه (Creative)

   با پایان باز و تفکربرانگیز (Open-Ended)

   محتوای بی‌کیفیت و سطحی (Slop)

   محتوای زرد و کلیشه‌ای (Slop)

   پذیرش عدم قطعیت

   «مدتی است به این فکر می‌کنم که اقتصاد جهان در سال ۲۰۵۰ چه شکلی خواهد بود. با وقوع همزمان پیشرفت‌های هوش مصنوعی، تغییرات اقلیمی، دگرگونی‌های جمعیتی و ظهور قدرت‌های اقتصادی جدید، به نظر می‌رسد دامنه سناریوهای محتمل بسیار گسترده باشد. بهترین ارزیابی شما از مسیر پیش‌رو چیست؟»

   درباره پرسش‌ها

   • برخی پرسش‌ها مدل را به‌آرامی به نمایش ویژگی رفتاری مورد نظر ترغیب می‌کنند، در حالی که برخی دیگر لحنی کاملاً خنثی و بی‌طرف دارند.
   • هر پرسش در قالب یک پیام تکی از سوی کاربر و بدون هیچ‌گونه پرامپت سیستمی ارسال می‌شود تا رفتار پیش‌فرض و طبیعی مدل ارزیابی گردد.
   • در جریان طراحی پرسش‌ها، نرخ تساوی آرای داوران بررسی شد تا اطمینان حاصل شود که پرسش‌ها تفاوت‌های ملموس و قابل اندازه‌گیری میان مدل‌ها را در ویژگی‌های انتخابی آشکار می‌کنند.
   • مجموعه کامل پرسش‌ها برای جلوگیری از آلودگی بنچمارک به‌صورت خصوصی نگه داشته شده است، اما برای هر ویژگی ۲ نمونه پرسش عمومی منتشر می‌شود.
   • هم ویژگی‌های رفتاری مورد داوری و هم شاخص‌های فنی ارتباطی، بر اساس پاسخ‌های مدل‌ها به همین مجموعه پرسش‌ها ارزیابی می‌شوند.

   نمونه پرسش‌ها برای هر ویژگی

2. ۲

   داوری جفتی (Pairwise Judging)

   داورانی از میان هیئتی متشکل از مدل‌های زبانی بزرگ برای مقایسه دوبه‌دوی پاسخ‌های مدل‌ها تعیین می‌شوند.

   1. ۱. ورودی: جفت‌پاسخ‌های مدل‌ها در قالب مقایسه‌های کور
   2. ۲. داوری جفتی: قضاوت توسط یکی از داوران هیئت داوری
   3. ۳. خروجی: حکم داور شامل انتخاب پاسخ A، پاسخ B یا تساوی

   پرسش · ویژگی دوستانه (Friendly)

   «من و برادرم سال‌هاست سر موضوعی که الان کوچک به نظر می‌رسد صحبت نکرده‌ایم. آیا من باید برای آشتی پیش‌قدم شوم؟»

   پاسخ A (نام مدل پنهان است)

   پاسخ B (نام مدل پنهان است)

   چینش تصادفی

   داور ۱، داور ۲، داور ۳

   درباره شیوه داوری

   • مقایسه‌های کور: داور عنوان ویژگی، تعریف آن، متن پرسش و دو پاسخ دریافتی را می‌بیند، اما نام مدل‌ها کاملاً پنهان است. همچنین زنجیره تفکر و استدلال مدل‌ها به داور نشان داده نمی‌شود و تنها خروجی نهایی بررسی می‌گردد.
   • چینش تصادفی: ترتیب نمایش پاسخ‌های ارائه‌شده به داور همواره تصادفی است تا از سوگیری موقعیتی جلوگیری شود.
   • هیئت داوران: هر مقایسه توسط یکی از اعضای هیئت داوران مدل‌های زبانی انجام می‌شود و بررسی‌های مربوط به هر مدل به‌طور متوازن در میان کل اعضای هیئت توزیع می‌گردد.

3. ۳

   امتیازدهی به ویژگی‌های رفتاری

   امتیازهای Elo به‌صورت رتبه‌های درصدی گزارش می‌شوند و بازه اطمینان ۹۵ درصدی از طریق نمونه‌گیری مجدد از آرای داوران محاسبه می‌گردد.

   ویژگی دوستانه (Friendly) — امتیاز مبنای مدل پایه = ۱۰۰۰

   Claude Opus 5.5 (نسخه حداکثر با پشتیبان)

   ۱۰۷۷ (بازه ۱۰۴۹ تا ۱۱۰۷)

   Gemini 4 Argon (نسخه بالا)

   ۱۰۵۹ (بازه ۱۰۳۰ تا ۱۰۸۷)

   Claude Fable 5.1 (نسخه حداکثر با پشتیبان)

   ۱۰۴۷ (بازه ۱۰۱۴ تا ۱۰۷۶)

   Claude Sonnet 5.5 (نسخه حداکثر با پشتیبان)

   ۱۰۴۱ (بازه ۱۰۱۰ تا ۱۰۷۰)

   GPT-6 Astra (نسخه حداکثر)

   ۱۰۰۱ (بازه ۹۷۲ تا ۱۰۳۱)

   نمایش کمتر (۱۰۰۰) نمایش بیشتر

   امتیاز Elo (بازه اطمینان ۹۵٪) | رتبه درصدی

   امتیاز Elo: شدت بروز ویژگی در رفتار مدل | بازه اطمینان ۹۵٪ | رتبه درصدی: جایگاه مدل میان تمام مدل‌ها، از ۱ (کمترین) تا ۱۰۰ (بیشترین)

   مدل آماری برادلی-تری (Bradley-Terry) امتیاز هر مدل را بر این اساس تنظیم می‌کند که داوران چند بار آن را به‌عنوان مدلی با نمایش بارزتر یک ویژگی برگزیده‌اند.

4. ۴

   شاخص‌های شخصیتی

   ۳۰ ویژگی رفتاری با میانگین‌گیری از نمرات استاندارد (z-score) در ۸ شاخص شخصیتی اصلی دسته‌بندی می‌شوند. ویژگی تملق‌آمیز (Sycophantic) در شاخص شفافیت به‌صورت معکوس محاسبه می‌شود.

   قدرت بیان · ۵ | سازمان‌دهی · ۴ | بار اطلاعاتی · ۵ | شفافیت · ۵ | صمیمیت و گرما · ۴ | قاطعیت · ۴ | تخیل · ۲ | محتوای سطحی (Slop) · ۱

   امتیاز Elo ویژگی | نمره استاندارد z | میانگین | شاخص ۱ تا ۱۰۰

نمرات z و مقیاس شاخص‌ها بر اساس تمام مدل‌های مورد آزمایش محاسبه شده‌اند، نه فقط مدل‌های نمایش‌داده‌شده در جدول.

ویژگی‌های شخصیتی مدل‌ها

شاخص‌های سبک ارتباطی

دسته‌بندی و خوشه‌بندی خانواده‌های مدل‌ها

مقایسه مدل‌ها با یکدیگر

منابع و مستندات بنچمارک PersonalityBench