نسخه ONNX مدل متنی چندزبانه E5 شرکت Qdrant به مرز یک میلیون دانلود نزدیک شد

نسخه آماده ONNX از مدل متنی multilingual-e5-large که توسط شرکت Qdrant ارائه شده است، در آستانه ثبت یک میلیون بار دانلود قرار دارد و تنها در ماه گذشته بیش از ۴۰۰ هزار بار دریافت شده است. اگرچه آمارهای پلتفرم Hugging Face شامل درخواست‌های خودکار سامانه‌ها نیز می‌شود و لزوماً تعداد کاربران یکتا را نشان نمی‌دهد، اما این حجم بالا از اقبال پایدار توسعه‌دهندگان به این ابزار حکایت دارد.

این پکیج بهینه‌شده، مدل پایه E5 را برای موتور اجرایی ONNX Runtime و کتابخانه FastEmbed شرکت Qdrant بازآفرینی کرده است. این ساختار ضمن حفظ کامل معماری اصلی و وزن‌های آموزش‌دیده مدل، مسیر پردازشی سنگین PyTorch را با یک گراف بهینه ONNX جایگزین می‌کند؛ در نتیجه تیم‌های فنی می‌توانند انکودر مدل را با وابستگی‌های نرم‌افزاری بسیار کمتر روی پردازنده‌های مرکزی (CPU) اجرا کرده و آن را مستقیماً در سرویس‌های برداری‌سازی و جستجوی معنایی به کار بگیرند.

دستاوردهای فنی بسته نرم‌افزاری Qdrant

مدل multilingual-e5-large یک انکودر متنی ۵۶۰ میلیون پارامتری است که بر پایه مدل بنیادین XLM-RoBERTa-large توسعه یافته است. طبق گزارش فنی منتشرشده، روند آموزش این مدل ترکیبی از پیش‌آموزش مقابله‌ای نیمه‌نظارتی و تنظیم دقیق نظارت‌شده بوده است. این انکودر پرسش‌ها و اسناد متنی را به بردارهایی تبدیل می‌کند که نزدیکی آن‌ها نشان‌دهنده شباهت معنایی متون در زبان‌های مختلف است.

کتابخانه FastEmbed تمام وظایف مربوط به بارگذاری مدل، توکنایز کردن، دسته‌بندی داده‌ها، ادغام بردارها (Pooling) و اجرای محاسبات روی موتور ONNX را مدیریت می‌کند. وزن‌های مدل در اولین اجرا دانلود می‌شوند، مگر اینکه از قبل در حافظه محلی ذخیره شده باشند؛ بنابراین در محیط‌های عملیاتی توصیه می‌شود فایل‌های مدل از پیش بارگذاری شده یا حافظه موقت روی فضای ذخیره‌سازی دائمی مستقر شود.

python -m pip install fastembed

from fastembed import TextEmbedding

model = TextEmbedding(
    model_name="intfloat/multilingual-e5-large"
)

documents = [
    "You should stay, study and sprint.",
    "History can only prepare us to be surprised yet again.",
]

document_vectors = list(model.passage_embed(documents))
query_vectors = list(
    model.query_embed("What helps us prepare for surprises?")
)