شاهکار محققان ژاپنی در بازیابی متون؛ مدل متن‌باز Ruri v3 حریف امبدینگ‌های اوپن‌ای‌آی شد

ورود مدل‌های امبدینگ Ruri v3 با پشتیبانی از ۸ هزار توکن به دنیای متون ژاپنی

گروه تحقیقاتی زبان‌شناسی محاسباتی در دانشگاه ناگویا به تازگی از خانواده مدل‌های Ruri v3 رونمایی کرده است؛ مجموعه‌ای از مدل‌های امبدینگ جملات ژاپنی که بر پایه معماری مدرن ModernBERT-Ja ساخته شده‌اند. این مدل‌ها ورودی‌هایی با طول چشمگیر تا ۸٬۱۹۲ توکن را پشتیبانی می‌کنند، وابستگی قدیمی به ابزار‌های پیش‌پردازش مثل MeCab را کنار گذاشته‌اند و حتی در نسخه‌های فوق‌العاده سبک با تنها ۳۰ میلیون پارامتر، نتایج خیره‌کننده‌ای ارائه می‌دهند.

مدل‌های امبدینگ جملات وظیفه دارند متن‌ها را به بردارهای ریاضی با طول ثابت تبدیل کنند؛ ابزاری حیاتی که ستون اصلی جستجوی معنایی، تولید متن به کمک بازیابی (RAG)، خوشه‌بندی، دسته‌بندی و پیدا کردن محتواهای تکراری به شمار می‌رود. حالا نسخه سوم Ruri به طور ویژه پردازش زبان ژاپنی را هدف گرفته و یک جایگزین متن‌باز، رایگان و تحت مجوز آپاچی ۲.۰ (Apache 2.0) در اختیار تیم‌های فنی می‌گذارد تا دیگر نیازی به پرداخت هزینه برای APIهای اختصاصی مثل اوپن‌ای‌آی یا اجرای مدل‌های متن‌باز سنگین نداشته باشند.

بازطراحی اساسی معماری با پنجره زمینه ۸ هزار توکنی

خانواده Ruri v3 معماری مدل و سیستم توکنایزر خود را با چندین تغییر کاربردی ارتقا داده است:

• ورودی‌های طولانی‌تر: سقف طول توالی ورودی که در نسخه‌های اول و دوم به ۵۱۲ توکن محدود بود، حالا به ۸٬۱۹۲ توکن افزایش یافته است.
• واژگان گسترده‌تر (Vocabulary): دایره لغات مدل از ۳۲ هزار توکن قبلی به ۱۰۰ هزار توکن افزایش یافته که در زبان ژاپنی، تعداد توکن‌های مورد نیاز برای نمایش متون را به شدت کاهش می‌دهد.
• مکانیزم توجه سریع‌تر: به لطف پشتیبانی ModernBERT از قابلیت FlashAttention، سرعت استنتاج (Inference) و فاین‌تیون مدل‌ها روی سخت‌افزارها و نرم‌افزارهای سازگار جهش چشمگیری پیدا می‌کند.
• توکنایزر ساده‌تر و یکپارچه: با استفاده از توکنایزر اختصاصی SentencePiece، نیاز به ابزار‌های تحلیل ریخت‌شناسی خارجی مثل MeCab کاملاً حذف شده است.

حذف پیش‌پردازش ریخت‌شناسی باعث می‌شود ساخت کانتینرها، ارائه مدل روی سیستم‌عامل‌های مختلف و هماهنگی با خط لوله‌های استاندارد sentence-transformers بسیار ساده‌تر شود. از طرف دیگر، پنجره زمینه ۸ هزار توکنی به سیستم اجازه می‌دهد مقاله‌های طولانی، صفحات مستندات و مکالمات پرجزئیات را بدون قطعه‌قطعه شدن در مرز ۵۱۲ توکن پردازش کند؛ هرچند مثل همیشه میزان مصرف رم و دقت جستجو به طول دقیق ورودی و اندازه دسته‌ها بستگی خواهد داشت.