پژوهش جدید گوگل دیپ‌مایند؛ یک راهنمایی اشتباه کارایی ایجنت‌های هوش مصنوعی را تا ۴۷ درصد کاهش می‌دهد
پژوهشگران گوگل دیپ‌مایند با توسعه بنچمارک جدیدی به نام XYEval نشان دادند که ایجنت‌های هوش مصنوعی در برابر توصیه‌های گمراه‌کننده کاربران به‌شدت آسیب‌پذیرند. نتایج این بررسی مشخص کرد که اضافه شدن تنها یک راهنمایی اشتباه اما به‌ظاهر منطقی به پرامپت‌ها، می‌تواند کارایی و دقت ایجنت‌ها را تا ۴۶٫۷ درصد کاهش دهد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- بنچمارک XYEval نشان می‌دهد افزودن یک توصیه اشتباه اما با لحن مطمئن به پرامپت، عملکرد ایجنت‌های هوش مصنوعی را تا ۴۶٫۷ درصد تضعیف می‌کند.
- این پژوهش با الهام از «مسئله XY»، تمایل ایجنت‌ها به بله‌قربان‌گویی و پذیرش کورکورانه فرضیات کاربر بدون راستی‌آزمایی را ارزیابی می‌کند.
- آزمایش روی ۶ بنچمارک معتبر نشان داد راهنمایی‌های غلط، ایجنت‌ها را پیش از بررسی شواهد به سمت ابزارها و کدهای نامربوط هدایت می‌کند.
بنچمارک XYEval نشان می‌دهد یک راهنمایی اشتباه چگونه ایجنت‌های هوش مصنوعی را به بیراهه می‌برد
تنها یک تشخیص نادرست اما با لحنی قاطعانه از سوی کاربر می‌تواند امتیاز عملکرد یک ایجنت هوش مصنوعی را تقریباً به نصف کاهش دهد. پژوهشگران گوگل دیپ‌مایند (Google DeepMind) در مقاله پژوهشی XYEval گزارش می‌دهند که افزودن توصیه‌های به‌ظاهر منطقی اما اشتباه به پرامپت‌های استاندارد، کارایی این سیستم‌ها را تا ۴۶٫۷ درصد تضعیف می‌کند. این نقطه‌ضعف سبب می‌شود ایجنت پیش از بررسی شواهد، مستقیماً به سراغ فایل‌ها، ابزارها یا اقدامات پشتیبانی کاملاً اشتباه برود.
معیار ارزیابی XYEval از مفهومی آشنا در انجمن‌های برنامه‌نویسی به نام «مسئله XY» الهام گرفته است؛ وضعیتی که در آن کاربر به‌جای توضیح هدف اصلی خود (Y)، درباره نحوه پیاده‌سازی راه‌حل پیشنهادی و احتمالاً اشتباهش (X) سؤال می‌پرسد. این بنچمارک، چالش ارتباطی مذکور را به بستری برای سنجش «بله‌قربان‌گویی» مدل‌ها تبدیل کرده است تا مشخص شود یک ایجنت تا چه اندازه تمایل دارد تشخیص اولیه کاربر را بدون اعتبارسنجی بپذیرد.
یک تغییر تک‌خطی برای سنجش دنباله‌روی کورکورانه ایجنت‌ها
این چارچوب ارزیابی، ساختار بنچمارک‌های موجود را دست‌نخورده نگه می‌دارد و صرفاً یک پیشنهاد گمراه‌کننده اما با لحنی مطمئن را به پرامپت اضافه می‌کند؛ مانند: «فکر می‌کنم مشکل در فایل X باشد». در این حالت، صورت مسئله، محیط اجرا، سیستم نمره‌دهی و راه‌حل معتبر بدون تغییر باقی می‌مانند. این رویکرد جفتی و مقایسه‌ای مشخص می‌کند که دریافت یک توصیه اشتباه در کنار دستوری کاملاً قابل حل، عملکرد ایجنت را تا چه حد با افت روبه‌رو می‌سازد.
محققان این تغییر تک‌خطی را روی شش بنچمارک معتبر اعمال کردند که حوزه‌هایی مانند خدمات مشتریان، مهندسی نرم‌افزار، خودکارسازی ترمینال، استفاده از ابزارها و استدلال عمومی را پوشش می‌دهند:
بنچمارک | مورد ارزیابی |
|---|---|
τ²-bench | پشتیبانی ابزارمحور در صنایع هوایی، خرده‌فروشی و مخابرات |
SWE-bench Verified | رفع باگ در سطح مخزن کد برای وظایف اعتبارسنجی‌شده |
SWE-bench Pro | وظایف سنگین‌تر و چالش‌برانگیزتر مهندسی نرم‌افزار |
Terminal-Bench 2.0 | برنامه‌ریزی و اجرای دستورات در خط فرمان (ترمینال) |
MCP-Atlas | انتخاب و به‌کارگیری ابزارها بر اساس پروتکل زمینه مدل (MCP) |
Humanity’s Last Exam | استدلال تخصصی در سطح کارشناسان ارشد |
نحوه طراحی گزینه‌های انحرافی در هر بنچمارک متفاوت بود؛ کارشناسان برای بنچمارک τ²-bench پیشنهادها را مبتنی بر قوانین مشخص نوشتند، چراکه محدود بودن ابزارهای این محیط، دامنه اشتباهات محتمل را محدود می‌کند. در مقابل، برای بنچمارک‌های SWE-bench، Terminal-Bench، MCP-Atlas و Humanity’s Last Exam، از مدل Gemini 3.5 Flash برای تولید راهنمایی‌های گمراه‌کننده استفاده شد.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
جذب سرمایه ۳۰ میلیون دلاری استارتاپ Tolan؛ همدم هوش مصنوعی که زندگی کاربران را مدیریت می‌کند
استارتاپ Tolan با جذب ۳۰ میلیون دلار سرمایه جدید، ارزش‌گذاری خود را به بیش از ۲۶۸ میلیون دلار رساند. این اپلیکیشن همدم هوش مصنوعی با کمک یک شخصیت کارتونی به بیش از ۲۵۰ هزار کاربر در برنامه‌ریزی کارهای روزمره و مدیریت احساسات کمک می‌کند و اکنون درآمد سالانه‌اش دورقمی شده است.
ابرخوشه پرومتئوس متا توقف‌های آموزش هوش مصنوعی را در مسیر یک میلیون پردازنده ۹۹ درصد کاهش داد
متا با انتشار جزئیات فنی ابرخوشه عظیم پرومتئوس، از نقشه راه خود برای اتصال یک میلیون پردازنده گرافیکی پرده برداشت. این شرکت موفق شده است با راهکارهای نوین سخت‌افزاری و نرم‌افزاری، توقف‌های فرآیند آموزش مدل‌های هوش مصنوعی را تا ۹۹ درصد کاهش دهد و رکوردی تازه در پایداری سیستم‌های گیگاواتی ثبت کند.
بنچمارک PersonalityBench سبک گفت‌وگو، لحن و ویژگی‌های شخصیتی مدل‌های هوش مصنوعی را می‌سنجد
دو مدل هوش مصنوعی می‌توانند پاسخ‌هایی کاملاً یکسان و درست ارائه دهند، اما لحن و احساسی که به کاربر منتقل می‌کنند از زمین تا آسمان متفاوت باشد. معیار ارزیابی جدید PersonalityBench با بررسی ۳۰ ویژگی رفتاری و ۲۱ شاخص ارتباطی، شخصیت پیش‌فرض و سبک پاسخگویی مدل‌های زبانی بزرگ را زیر ذره‌بین قرار داده است.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.