آموزش ارجاع به منبع در دل وزن‌های هوش مصنوعی؛ روش ابداعی Cite Pretrain وابستگی به جستجوی وب را حذف می‌کند

روش Cite Pretrain؛ ارجاع مستقیم به منابع از حافظه مدل‌های زبانی

پژوهشگران از روش آموزشی تازه‌ای به نام Cite Pretrain رونمایی کرده‌اند که به مدل‌های زبانی یاد می‌دهد حقایق را با شناسه‌های پایدار اسناد پیوند دهند. پس از طی این مرحله آموزشی، مدل می‌تواند به پرسش‌ها پاسخ دهد و اسناد موجود در مجموعه داده آموزشی خود را بدون نیاز به فراخوانی یک سیستم بازیابی خارجی در زمان استنتاج، به عنوان منبع ذکر کند.

یوکون هوانگ، سان‌شینگ چن، جیان پی، منزل ظهیر و بهووان دینگرا این رویکرد را در مقاله پژوهشی خود تشریح کرده‌اند. در این راهکار، بخشی از خط لوله ارجاع‌دهی از مرحله استنتاج به پیش‌آموزش مداوم منتقل می‌شود؛ اقدامی که تأخیر ناشی از بازیابی اطلاعات و وابستگی به ایندکس زنده جستجو را به شکل چشمگیری کاهش می‌دهد. البته استنادهای این مدل همچنان به منابعی محدود است که در طول آموزش نمایه شده‌اند و هر شناسه تولیدشده باید از طریق یک فهرست مستندات به‌روزشده بازخوانی و تأیید شود.

چرا سیستم‌های ارجاع‌دهی از بازیابی اطلاعات استفاده می‌کنند؟

مدل‌های زبانی مستقل ممکن است عناوین، پیوندها و مراجع به ظاهر موجه اما کاملاً ساختگی تولید کنند؛ چراکه در پیش‌آموزش استاندارد، پیوند قابل اعتمادی میان داده و منبع اصلی آن به صورت صریح حفظ نمی‌شود. سیستم‌های تجاری و عملیاتی معمولاً این مسئله را با استفاده از روش تولید مبتنی بر بازیابی (RAG) حل می‌کنند؛ سازوکاری که پایگاه داده ایندکس‌شده را جستجو کرده، بخش‌های مرتبط را به پرامپت می‌افزاید و از مدل می‌خواهد پاسخ خود را بر اساس همان شواهد ارائه دهد.

با این حال، روش RAG برای هر پرسش نیازمند ایندکس‌گذاری، ارسال درخواست بازیابی و پذیرش خطاهای ناشی از انتخاب نامناسب اسناد است. رتبه‌بندی ضعیف متون بازیابی‌شده می‌تواند هم کیفیت پاسخ و هم اعتبار ارجاعات آن را کاهش دهد، ضمن اینکه نگهداری بردارهای امبدینگ و زیرساخت‌های بازیابی، هزینه‌های عملیاتی را به شدت بالا می‌برد. در مقابل، رویکرد Cite Pretrain پیوند میان حقایق و منابع را پیش از استقرار، مستقیماً در وزن‌های مدل کدگذاری می‌کند.