پژوهش دانشگاه استنفورد؛ ۲۶ ایجنت هوش مصنوعی در مدیریت هم‌زمان چند کاربر شکست می‌خورند
پژوهشگران دانشگاه استنفورد و ام‌آی‌تی با ارزیابی ۲۶ مدل تجاری و متن‌باز دریافتند که ایجنت‌های هوش مصنوعی هنگام تعامل هم‌زمان با چند کاربر عملکرد قابل اعتمادی ندارند. این دستیارها در مدیریت دستورهای متضاد، حفظ حریم خصوصی و هماهنگی تیمی با خطاهای جدی مواجه می‌شوند. این تیم با معرفی بنچمارک جدید Muses-Bench، چالش‌های امنیتی و نظارتی مدل‌های زبانی در فضاهای کاری اشتراکی را به تصویر کشیده‌اند.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- بیشتر دستیارهای هوش مصنوعی بر اساس تعامل با یک کاربر آموزش دیده‌اند و در محیط‌های اشتراکی تیمی مانند اسلک دچار سردرگمی می‌شوند.
- ارزیابی ۲۶ مدل مختلف نشان می‌دهد ایجنت‌ها در اولویت‌بندی دستورهای متناقض و حفظ داده‌های محرمانه ناکام می‌مانند.
- پژوهشگران با توسعه بنچمارک متن‌باز Muses-Bench چارچوبی استاندارد برای سنجش امنیت و هماهنگی ایجنت‌ها در سناریوهای چندکاربره ارائه کردند.
بیشتر دستیارهای گفتگو بر مبنای تعامل با یک کاربر واحد آموزش دیده و ارزیابی می‌شوند؛ فرض اولیه‌ای که به‌محض ورود ایجنت به یک کانال اسلک، فضای کاری اشتراکی یا ابزارهای زمان‌بندی تیمی، کارایی خود را از دست می‌دهد. پژوهشگران دانشگاه‌های استنفورد، ام‌آی‌تی، کاوست (KAUST) و دانشگاه تگزاس در آستین، این موقعیت‌ها را به‌عنوان یک مسئله تصمیم‌گیری چندکاربره مدل‌سازی کرده و ۲۶ مدل اختصاصی تجاری و مدل‌های متن‌باز را مورد آزمایش قرار داده‌اند. نتایج بنچمارک آن‌ها از خطاهای مکرر این مدل‌ها در داوری میان دستورها، کنترل سطح دسترسی و هماهنگی گروهی حکایت دارد.
یک مدل و دستورهای متناقض
در فرآیند تنظیم دستورها، معمولاً تمام درخواست‌ها با نقشی یکسان از سوی یک کاربر برچسب‌گذاری می‌شوند. مدل در جریان تنظیم دقیق تحت نظارت، یک توزیع پاسخ واحد را فرا می‌گیرد و سپس یاد‌گیری تقویتی با بازخورد انسانی، ترجیحات را در قالب یک سیگنال پاداش واحد فشرده می‌کند. با این حال، محیط‌های اشتراکی میزبان چندین فرد با سطوح دسترسی متفاوت، داده‌های خصوصی و اهدافی بالقوه متضاد هستند.
این مقاله پژوهشی عملکرد یک ایجنت را در قالب بهینه‌سازی مجموعه‌ای وزن‌یافته از اهداف کاربران تحت دو قید اصلی مدل‌سازی می‌کند. قوانین سطح دسترسی تعیین می‌کنند که هنگام بروز تعارض، کدام دستور اولویت دارد؛ در حالی که قوانین کنترل دسترسی مشخص می‌سازند چه افرادی اجازه دارند اطلاعات محرمانه را دریافت کنند. طبق سلسله‌مراتب تعریف‌شده در این بنچمارک، درخواست کاربری با سطح دسترسی پایین‌تر هرگز نباید بتواند بر دستور ناسازگار کاربری با رتبه بالاتر غلبه کند.
پژوهشگران بنچمارک متن‌باز Muses-Bench را منتشر کرده‌اند که بر پایه سه سناریوی چندکاربره طراحی شده است. به هر یک از شرکت‌کنندگان شبیه‌سازی‌شده در این آزمون، یک نقش، امتیاز سطح دسترسی از ۱ تا ۱۰، ویژگی‌های هویتی و یک رویکرد امنیتی اختصاص یافته است.
سناریو | وظیفه ایجنت |
|---|
مطالب مرتبط و پیشنهادی
ابزار OpenCode Browse کنترل مستقیم تب‌های فعال مرورگر را به ایجنت‌های کدنویسی می‌سپارد
ابزار جدید OpenCode Browse با ترکیب افزونه مرورگر Chromium و پروتکل MCP، به ایجنت‌های هوش مصنوعی امکان می‌دهد تب‌های فعال و دارای نشست مرورگر را مستقیماً هدایت کنند. این ابزار با حذف نیاز به ساخت کلیدهای API و ورودهای مکرر، اتوماسیون محلی را ساده‌تر می‌کند. هم‌چنین توسعه‌دهندگان می‌توانند در هر لحظه مراحل حساسی مانند پرداخت‌ها یا ورود دومرحله‌ای را شخصاً در دست بگیرند.
اتحاد OpenAI، گوگل و مایکروسافت؛ انتشار استاندارد مشترک برای سنجش خطرات جیل‌بریک هوش مصنوعی
فروم مدل‌های فرانتیر با حضور نام‌های بزرگی چون OpenAI، گوگل و مایکروسافت، از نخستین چارچوب استاندارد برای سنجش و رتبه‌بندی خطرات جیل‌بریک در مدل‌های پیشرفته هوش مصنوعی رونمایی کرد. این سیستم یکپارچه به تیم‌های امنیتی کمک می‌کند میزان خطر و سهولت دور زدن تدابیر دفاعی را با معیاری مشترک و دقیق ارزیابی کنند.
معرفی مدل Arete-27B؛ کاهش ۹۵ درصدی پاسخ‌های همسو با دولت چین در هوش مصنوعی Qwen
مجموعه پژوهشی Nous Research با بازتنظیم مدل قدرتمند Qwen3.8-27B از علی‌بابا، نسخه‌ای تازه به نام Arete-27B منتشر کرد که پاسخ‌های همسو با سیاست‌های رسمی دولت چین را تا ۹۵ درصد کاهش می‌دهد. در این پروژه، با استفاده از حدود ۵۳ میلیون توکن داده آموزشی هدفمند، میزان پاسخ‌های وابسته به روایت دولتی چین بدون افت کارایی و قابلیت‌های کاربردی مدل از ۲۲ درصد به تنها ۱ درصد رسیده است.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.