سیستم راستی‌آزمایی جدید دانشگاه RWTH، وابستگی واقعی مدل‌های RAG به اسناد مرجع را تضمین می‌کند
سیستم‌های بازیابی تقویت‌شده اطلاعات (RAG) معمولاً پاسخ‌هایی قانع‌کننده تولید می‌کنند، اما گاهی شواهد ارائه‌شده را نادیده می‌گیرند. محققان دانشگاه RWTH آلمان با توسعه یک چارچوب راستی‌آزمایی جدید، مدلی آموزش داده‌اند که تنها در صورت صحت کامل اسناد مرجع پاسخ درست می‌دهد. این راهکار امکان شناسایی دقیق پدیده میانبرزدن و تضمین استناد واقعی هوش مصنوعی به منابع را فراهم می‌سازد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- سیستم‌های متداول RAG معمولاً صرفاً بر اساس درستی پاسخ نهایی ارزیابی می‌شوند و همین امر باعث می‌شود مدل بدون توجه به اسناد، به الگوهای سطحی متکی شود.
- محققان دانشگاه RWTH چارچوب نوآورانه‌ای طراحی کرده‌اند که در صورت دستکاری یا تغییر اسناد مرجع، دقت مدل را تا سطح حدس تصادفی کاهش می‌دهد تا فریبکاری هوش مصنوعی آشکار شود.
- این روش آموزشی با استفاده از نمونه‌های داده متضاد و گمراه‌کننده، هوش مصنوعی را ملزم می‌کند تا پاسخ‌های خود را منحصراً بر پایه شواهد معتبر ارائه دهد.
سیستم‌های بازیابی تقویت‌شده اطلاعات (RAG) با وجود تولید پاسخ‌های قانع‌کننده و باورپذیر، در بسیاری از مواقع شواهد و اسناد بازیابی‌شده را کاملاً نادیده می‌گیرند. در همین راستا، محققان دانشگاه RWTH آلمان روش آموزشی جدیدی طراحی کرده‌اند که استناد به شواهد را به عاملی علت‌ومعلولی و ضروری برای هر تصمیم مدل تبدیل می‌کند. بر اساس مقاله پژوهشی این تیم، سیستم راستی‌آزمایی مبتنی بر پرونده در حضور شواهد صحیح عملکردی بسیار قوی از خود نشان می‌دهد؛ اما به محض جابجایی یا تعویض شواهد، کارایی آن تا حد رتبه‌بندی تصادفی سقوط می‌کند. این افت محسوس به توسعه‌دهندگان معیاری مستقیم می‌دهد تا پدیده یادگیری میانبر (Shortcut Learning) را در مدل‌های هوش مصنوعی شناسایی کنند.
چرا پاسخ‌های به‌ظاهر درست هوش مصنوعی فاقد استناد واقعی هستند؟
در بسیاری از خطوط پردازشی متداول RAG، شواهد و مدارک استخراج‌شده صرفاً به ورودی اضافه می‌شوند و فرآیند نظارت تنها بر خروجی نهایی متمرکز است. این رویکرد به هر پاسخ درست پاداش می‌دهد، بدون آنکه مشخص شود آیا مدل واقعاً از شواهد بهره برده، به الگوهای تکراری پرونده تکیه کرده یا صرفاً کلمات کلیدی مشترک میان ادعا و متن را تطبیق داده است.
ارزیابی‌های استاندارد معمولاً شواهد ورودی را ثابت نگه می‌دارند، بنابراین شاخص دقت کلی نمی‌تواند مشخص کند کدام عامل یا سیگنال هدایت‌کننده تصمیم نهایی مدل بوده است. در مقابل، فرمول‌بندی پژوهشگران دانشگاه RWTH یک ساختار سه‌گانه شامل پرونده محلی، ادعای ساختاریافته و واحد شواهد بیرونی را امتیازدهی می‌کند. به‌عنوان مثال، در یک مفهوم رادیولوژی مانند بزرگی قلب (Cardiomegaly)، ادعا مشخص می‌کند که آیا این عارضه در بیمار وجود دارد یا خیر؛ سپس سیستم راستی‌آزمایی ارزیابی می‌کند که آیا بخش مربوطه از پایگاه داده رادیولوژی Radiopaedia از این وضعیت در پرونده پشتیبانی می‌کند یا خیر.
چهار برچسب داده که مسیر میانبرزدن را مسدود می‌کنند
این خط پردازش آموزشی شواهد بیرونی را به دسته‌های تفکیک‌شده بر اساس مفاهیم تقسیم می‌کند و هر قطعه متن را با پرونده‌ها و جهت‌گیری‌های مثبت یا منفی ادعا پیوند می‌زند. این رویکرد مدل را در برابر چهار نوع نمونه شامل شواهد تأییدکننده، شواهد متناقض، عوامل حواس‌پرتی موضوعی و محتوای کاملاً نامرتبط قرار می‌دهد:
دسته‌بندی | ارتباط شواهد با ادعا | برچسب | هدف آموزشی |
|---|---|---|---|
الف. پشتیبانی مثبت (Positive support) | از وضعیت درست مفهوم در پرونده پشتیبانی می‌کند | مثبت (Positive) | آموزش رابطه هدفمند و صحیح استناد |
ب. شواهد خلاف واقع با وضعیت نادرست (Wrong-state counterfactual) | با مفهوم کلی همخوانی دارد اما از حالت معکوس پشتیبانی می‌کند | منفی (Negative) | جریمه تطبیق صرف کلمات کلیدی و هم‌پوشانی موضوعی |
ج. عدم پشتیبانی دشوار (Hard non-support) | درباره مفهوم بحث می‌کند اما از هیچ‌یک از دو وضعیت پشتیبانی به عمل نمی‌آورد |
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
پاسخ کاملاً متفاوت ChatGPT و هوش مصنوعی گوگل به سؤالی یکسان درباره دیتاسنترها
نتایج یک پژوهش تازه نشان می‌دهد چت‌بات‌های هوش مصنوعی در پاسخ به پرسش‌هایی درباره مراکز داده، دیدگاه‌های متفاوتی ارائه می‌دهند. در حالی که ChatGPT رویکردی محتاطانه و معتدل در پیش می‌گیرد، هوش مصنوعی گوگل در اغلب موارد بر جنبه‌های منفی و چالش‌های زیست‌محیطی متمرکز می‌شود. این موضوع ضرورت راستی‌آزمایی مستقل و پرهیز از تکیه مطلق به یک ابزار واحد را برجسته می‌کند.
فروش واحد نرم‌افزاری Chalco به Valsoft با هدف گسترش جهانی و توسعه هوش مصنوعی مولد
شرکت سرمایه‌گذاری کانادایی Valsoft واحد نرم‌افزاری Chalco Technologies را از گروه ایتالیایی Hyphen خریداری کرد. این معامله با هدف گسترش حضور در بازارهای بین‌المللی و ادغام قابلیت‌های هوش مصنوعی مولد در مدیریت محتوای برندهای بزرگ مد و کالاهای لوکس انجام شده است.
معرفی استارتاپ Agent37؛ زیرساخت ارزان برای اجرای مداوم ایجنت‌های هوش مصنوعی
استارتاپ Agent37 با حمایت شتاب‌دهنده Y Combinator، زیرساختی اختصاصی و ارزان‌قیمت برای میزبانی ایجنت‌های هوش مصنوعی معرفی کرده است. این سرویس با ادعای کاهش ۹۴ درصدی هزینه‌ها، امکان استفاده از سرورهای همیشه روشن را با پرداخت ماهانه کمتر از ۵ دلار فراهم می‌سازد. مقایسه قیمتی جنجالی این پلتفرم با Vercel، بحث‌های داغی را میان کارشناسان درباره تفاوت‌های ساختاری شیوه محاسبه مصرف پردازنده به راه انداخته است.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.