خداحافظی با دیتابیس‌های برداری؛ ابزار متن‌باز Jevbox جستجوی اسناد در هوش مصنوعی را درختی کرد!

مسیریابی و جستجوی اسناد با ساختار درختی در Jevbox

تیم Extend به‌تازگی پروژه متن‌باز Jevbox را منتشر کرده است؛ یک کتابخانه مدیریت اسناد که فایل‌های آپلودشده را به شکل خودکار سازمان‌دهی می‌کند، پاسخ به پرسش‌ها را همراه با ارجاع دقیق به شماره صفحه و بخش‌های مربوطه تحویل می‌دهد و موقع بازیابی اطلاعات، حواسش به سطح دسترسی کاربران هم هست. نکته جالب ماجرا اینجاست که ایندکس این ابزار کاملاً مبتنی بر یک ساختار درختی سلسله‌مراتبی از دسته‌بندی‌ها، اسناد و بخش‌هاست و هیچ اثری از امبدینگ‌های عددی یا پایگاه‌های داده برداری در آن دیده نمی‌شود.

توسعه‌دهندگان پروژه Extend Parse در پست معرفی این ابزار توضیح داده‌اند که Jevbox تمام فرآیندهای ورود داده، سازمان‌دهی، بازیابی اطلاعات، چت، تعیین سطوح دسترسی و اتصال به ایجنت‌ها را در قالب یک اپلیکیشن یکپارچه بر پایه تایپ‌اسکریپت (TypeScript) جمع کرده است. در قلب این سامانه، یک مدل تصمیم‌گیری هوشمند به نام Jev قرار دارد که تمام امور مربوط به بایگانی اسناد و مسیریابی جستجوها را مدیریت می‌کند.

وقتی ساختار درختی جایگزین ایندکس برداری می‌شود

در سامانه‌های سنتی تولید مبتنی بر بازیابی (RAG)، اسناد معمولاً به تکه‌های کوچک‌تر (Chunks) تقسیم می‌شوند، سپس این تکه‌ها به امبدینگ‌های عددی تبدیل شده و در یک پایگاه‌داده برداری به دنبال مشابه‌ترین موارد جستجو می‌گردد. اما Jevbox مسیر متفاوتی را انتخاب کرده؛ این سیستم یک درخت قابل پیمایش از اسناد می‌سازد و با استفاده از روش جستجوی پرتو سلسله‌مراتبی (Hierarchical Beam Search) در آن به کاوش می‌پردازد. در این فرآیند، مدل Jev به دسته‌بندی‌ها، اسناد و بخش‌های کاندید امتیاز می‌دهد و در هر سطح، چند مسیر امیدبخش و مناسب را برای بررسی‌های بعدی حفظ می‌کند.

پس از پیمایش درخت، Jevbox پیش از اینکه به سراغ تولید پاسخ نهایی برود، یک بار دیگر میزان مفید بودن بندها و متن‌های منبع را به شکل مستقل ارزیابی می‌کند. این بررسی دوم (Second Pass) فایده بزرگی دارد؛ چرا که به فیلتر شدن بخش‌هایی کمک می‌کند که اگرچه در یک مسیر قدرتمند قرار داشتند، اما در عمل پاسخی برای آن سوال خاص ارائه نمی‌دهند.

مدل Jev برای انتخاب گزینه‌ها، احتمالات کالیبره‌شده‌ای را به پرسش‌های چندگزینه‌ای اختصاص می‌دهد. یک پروژه جستجوی مرتبط این سازوکار را با سوالاتی مثل «کدام صفحه پاسخ این پرسش را در خود دارد؟» به نمایش می‌گذارد. Jevbox همین الگو را مرحله‌به‌مرحله تکرار می‌کند و در هر لایه گزینه‌های موجود را محدودتر می‌سازد تا مدل زبانی مجبور نباشد کل اسناد و داده‌ها را در یک پنجره کانتکست (Context Window) بخواند و پردازش کند.