مدل امبدینگ ویتنامی BKAI از مرز ۸۰۰ هزار دانلود گذشت؛ رقیبی چابک برای مدل‌های چندزبانه

مدل vietnamese-bi-encoder که توسط آزمایشگاه مدل‌های بنیادین BKAI-HUST توسعه یافته است، توانست از مرز ۸۲۴ هزار بار دانلود در پلتفرم Hugging Face عبور کند. این مدل ترکیبی از آموزش تخصصی برای بازیابی اطلاعات به زبان ویتنامی، ابعاد پردازشی فشرده، کدگذاری مستقل برای پرسش‌ها و اسناد و مجوز متن‌باز Apache 2.0 است. چنین ویژگی‌هایی این ابزار را برای میزبانی محلی در سامانه‌های جستجوی معنایی و پایپلاین‌های بازیابی پیشرفته اطلاعات (RAG) که در آنها موتور بازیابی متن‌های منبع را در اختیار مدل زبانی قرار می‌دهد، به گزین‌های بسیار ایدهآل تبدیل می‌کند.

بسیاری از مدل‌های مطرح در حوزه امبدینگ، تمرکز اصلی خود را بر زبان انگلیسی می‌گذارند یا توان پردازشی و داده‌های آموزشی خود را میان دهها زبان گوناگون تقسیم می‌کنند. در نقطه مقابل، این نسخه از مدل BKAI با تکیه بر یک ساختار تکزبانه و داده‌های اختصاصی بازیابی در زبان ویتنامی آموزش دیده است تا توسعه‌دهندگان گزین‌های قدرتمند، مستقل و در دسترس در مقایسه با مدل‌های عمومی چندزبانه یا سرویس‌های تجاری ابری داشته باشند.

کدگذارهای مستقل؛ تضمین سرعت بالا در بازیابی اطلاعات

این نسخه، مدل زبانی PhoBERT-base-v2 (مدل مبتنی بر معماری RoBERTa که توسط آزمایشگاه VinAI برای زبان ویتنامی بهینه شده بود) را به یک مدل دوکدگذار (Bi-Encoder) در فریمورک Sentence Transformers تبدیل می‌کند که مشخصات فنی آن به شرح زیر است:

• خروجی: یک بردار چگال ۷۶۸ بُعدی به ازای هر جمله یا بند متنی
• معیار شباهت: شباهت کسینوسی (Cosine Similarity) میان بردار پرسش و بردار متن
• حداکثر طول ورودی: ۲۵۶ توکن مدلی
• اندازه مدل: در حدود ۱۳۵ میلیون پارامتر
• مجوز انتشار: مجوز متن‌باز Apache 2.0 (شامل استفاده تجاری)

یک مدل دوکدگذار، پرسش‌ها و اسناد متنی را به‌صورت کاملاً مستقل از یکدیگر پردازش می‌کند. بنابراین، بردارهای متناظر با اسناد تنها یکبار محاسبه شده و در یک پایگاه داده برداری ذخیره می‌شوند و در زمان اجرای زنده، تنها پرسش ورودی کاربر نیاز به کدگذاری آنی دارد. علاوه بر این، در صورت نیاز به‌دقت بالاتر، میتوان از یک مدل بازرتبهبندی (Cross-Encoder Reranker) برای ارزیابی دقیق‌تر برترین جفت‌های پرسش و بند متنی استفاده کرد؛ بهشرط آنکه دقت بیشتر، تاخیر زمانی افزوده را توجیه کند.

تیم BKAI این مدل را طی ۱۵ دوره آموزشی (Epoch) روی ترجمه ویتنامی مجموعه‌دادههای استاندارد MS MARCO و SQuAD v2 به‌همراه ۸۰ درصد داده‌های چالش بازیابی متون حقوقی Zalo 2021 آموزش داده است. در این فرآیند از بهینهساز AdamW و نرخ یاد‌گیری ۲ در ۱۰ بهره گرفته شده است.