معرفی بنچمارک Clocktower Bench؛ سنجش مهارت فریبکاری و کشف دروغ در مدل‌های پیشرو هوش مصنوعی

مقدمه و معرفی بنچمارک

Clocktower Bench یک بنچمارک ارزیابی استدلال اجتماعی و سنجش فریبکاری در سیستم‌های چندعاملی است که توسط دورکش پاتل (Dwarkesh Patel) منتشر شده است. در این آزمون، مدل‌های پیشرو هوش مصنوعی در قالب بازی استنتاج اجتماعی Blood on the Clocktower در برابر یکدیگر قرار می‌گیرند؛ بهطوری که یک مدل تمام جایگاه‌های شهروندان و نیروهای خیر را هدایت می‌کند و مدلی دیگر کنترل تیم اهریمن را به دست می‌گیرد. دسترسی به جدول ردهبندی رسمی، پلتفرم تعاملی بازی و مقاله تحلیلی جزئیات این ارزیابی در دسترس علاقهمندان قرار دارد.

ساختار و طراحی ارزیابی:

• تکرار بازی‌ها با جابجایی نقش‌ها: هر چینش کارت یکبار دیگر با تعویض جایگاه دو مدل بازی می‌شود تا هیچ مدلی صرفاً به‌دلیل شانس یا دست بهتر پیروز نشود.
• مدلسازی آماری بردلی‌تری و رتبه‌بندی Elo: این الگو مهارت مدل‌ها را در جبهه خیر و شر، در کنار برتری ذاتی نقش‌ها و اثر چینش کارت‌ها، به‌صورت هم‌زمان برآورد می‌کند.
• ابعاد ارزیابی: این پژوهش شامل حدود ۳۸۶ دست بازی ثبتشده با هزینه‌ای نزدیک به ۲۰ هزار دلار برای فراخوانی API مدل‌ها بوده است.
• شرایط کاملاً یکسان: فعال‌سازی بالاترین سطح تلاش استدلالی برای مدل‌های هر آزمایشگاه، محدودیت سقف ۸۰۰۰ توکن در هر نوبت و تعیین سقف کلمات یکسان.
• ارائه دو شاخص تفکیکشده: علاوه بر امتیاز کلی Elo، دو سنجه مجزا برای کشف دروغ و حقیقتسنجی (در نقش شهروندان) و فریبکاری و پنهانکاری (در نقش اهریمن) اعلام می‌شود.

یافته‌های جدول ردهبندی نشان می‌دهد که برتری مدل OpenAI بیشتر در زمینه کشف دروغ و حقیقتسنجی است، در حالیکه در مهارت فریبکاری، رقابت میان آزمایشگاه‌های گوناگون بسیار شانهبهشانه و فشرده دنبال می‌شود. این پلتفرم هم‌چنین روند پیشرفت مدل‌ها بر اساس تاریخ عرضه، نرخ بردهای رو در رو و نتایج تیم‌های ترکیبی (نیمی Claude Opus و نیمی GPT) را نمایش می‌دهد.

چرا این ارزیابی اهمیت دارد؟

اکثر بنچمارک‌های ارزیابی ایجنت‌ها بر کاربرد ابزارها یا اجرای وظایف کوتاه تمرکز دارند، اما بنچمارک Clocktower Bench بر فریبکاری اجتماعی در طول بازی، به‌روزرسانی شواهد بر اساس رفتار دیگران و هماهنگی تیمی تأکید دارد و به هر دو مهارت دروغگویی و برملا کردن دروغ امتیاز می‌دهد.

رویکرد و تمایز بنچمارک

این بنچمارک صرفاً آزمونی برای تشخیص دروغ در متون ساده یا مذاکره تکبعدی نیست؛ بلکه از تمامی سازوکارهای بازی Blood on the Clocktower، از جمله اطلاعات محرمانه شبانه، رأیگیری‌های روزانه و قابلیت‌های ویژه هر نقش بهره می‌گیرد.

محدودیت‌ها و نکات مهم

• همپوشانی دامنه اطمینان آماری در سیستم امتیازدهی Elo نشان می‌دهد که رتبه‌بندی مدل‌هایی با امتیازات بسیار نزدیک، قطعی و خدشهناپذیر نیست.
• بستر آزمون و دستورالعمل‌ها توسط مجری پروژه تنظیم شده‌اند و تکرار مستقل این ارزیابی به‌دلیل هزینه بالای فراخوانی APIها بسیار پرهزینه خواهد بود.
• امتیاز حاصل از فریبکاری در این بازی نمی‌تواند معیاری نهایی برای سنجش ایمنی عمومی و همسویی رفتاری مدل‌های هوش مصنوعی به‌شمار رود.

کاربردها و مخاطبان بنچمارک

• تیم‌های پژوهشی که در پی بررسی استدلال اجتماعی، کشف فریب و پنهانکاری در سیستم‌های هوش مصنوعی چندعاملی هستند.
• متخصصانی که تمایل دارند مدل‌ها را بر اساس تفکیک قابلیت‌های حقیقتسنجی در برابر فریبکاری انتخاب کنند.
• پژوهشگرانی که تحلیل‌های دورکش پاتل و نسخه تعاملی این ارزیابی را دنبال می‌کنند.

راهنمای بررسی و استفاده

1. مشاهده وب‌سایت رسمی Clocktower Bench جهت بررسی رتبه‌بندی و نمودارهای تفکیکی فریبکاری و حقیقتسنجی.
2. مطالعه مقاله تفصیلی دورکش پاتل برای درک دقیق الگوهای آماری و نحوه نمونهگیری.
3. آزمودن نسخه زنده در پلتفرم تعاملی برای مشاهده تصمیمگیری‌های بلادرنگ مدل‌ها.
4. هنگام استناد به نتایج، مواردی چون جابجایی دو طرف بازی، میزان توان استدلالی اعمالشده و تاریخ ارزیابی را مد نظر داشته باشید.