مدل SPLADE شرکت Naver با عبور از ۸۷۸ هزار دانلود در Hugging Face خبرساز شد

چرا مدل بازیابی SPLADE متعلق به Naver دوباره ترند شده است؟

پلتفرم Hugging Face اخیراً چک‌پوینت splade-cocondenser-selfdistil متعلق به Naver Labs را در فهرست مدل‌های ترند خود قرار داده و شمارنده عمومی آن از مرز ۸۷۸ هزار دانلود عبور کرده است. این مدل به سیستم‌های مبتنی‌بر هوش مصنوعی مولد با قابلیت بازیابی دانش (RAG)، امکان گسترش معنایی یادگیری‌شده، وزن‌دهی شفاف و قابل‌بررسی به توکن‌ها و جست‌وجوی بهینه با فهرست معکوس (Posting List) را می‌دهد.

شمارنده‌های پلتفرم Hugging Face تعداد درخواست‌های فایل را ثبت می‌کنند که شامل دانلودهای تکراری، کش‌ها و فرایندهای خودکار نیز می‌شود؛ بنابراین این رقم نشان‌دهنده استقرار منحصربه‌فرد این مدل در محیط‌های عملیاتی نیست. با این حال، این حجم از توجه بار دیگر نگاه‌ها را به یک استاندارد شناخته‌شده در حوزه بازیابی اسپارس (Sparse Retrieval) معطوف کرده است که در پژوهش‌های سال ۲۰۲۲ با تمرکز بر تکنیک‌های Hard-negative Mining و Self-distillation منتشر شده بود.

تبدیل واژگان به فضای برداری

هر بردار امبدینگ در مدل SPLADE (کوتاه‌شده‌ی عبارت SParse Lexical AnD Expansion) یک فضای برداری ۳۰٬۵۲۲ بعدی برگرفته از واژگان WordPiece در مدل BERT را اشغال می‌کند. هر بعد نشان‌دهنده یکی از آیتم‌های واژگان، از جمله کلمات کامل، زیرکلمه‌ها (Subwords)، علائم نگارشی و توکن‌های ویژه است.

هد مدل زبانی پوشانده‌شده (Masked Language Model) در این مدل، واژگان را در هر موقعیت ورودی امتیازدهی می‌کند. سپس یک تبدیل نامنفی به همراه ادغام بیشینه (Max Pooling)، بالاترین امتیاز را برای هر آیتم حفظ کرده و یک بردار خلوت (Sparse Vector) وزن‌دار تولید می‌کند که اکثر ابعاد آن صفر هستند. این مدل می‌تواند به واژگانی که در متن اصلی غایب هستند نیز وزن اختصاص دهد؛ قابلیتی که فرایند گسترش معنایی خودکار برای پرس‌وجو و سند را فراهم می‌سازد.

محاسبه شباهت میان پرس‌وجو و سند با استفاده از ضرب داخلی انجام می‌شود:

score(query, document) = query_vector · document_vector

این امتیاز در واقع مجموع حاصل‌ضرب ابعاد مشترک واژگان میان بردار پرس‌وجو و بردار سند است. این ابعاد را می‌توان به‌صورت رکوردهای وزن‌دار در یک نمایه معکوس (Inverted Index) ذخیره کرد. چک‌پوینت مذکور بر پایه معماری BERT-base با حدود ۱۱۰ میلیون پارامتر بنا شده است؛ بنابراین حتی زمانی که عملیات بازیابی روی پردازنده‌های مرکزی (CPU) اجرا شود، کدگذاری پرس‌وجو همچنان نیازمند پردازش توسط یک مدل عصبی است.

تحلیل بنچمارک‌ها و نتایج ارزیابی

بنچمارک رتبه‌بندی بندهای متنی MS MARCO، توانایی بازیابی را بر روی حدود ۸٫۸ میلیون بند متنی وب با استفاده از پرس‌وجوهای استخراج‌شده از لاگ‌های جست‌وجوی Bing ارزیابی می‌کند. در صفحه رسمی این چک‌پوینت، نتایج زیر بر روی مجموعه توسعه (Development Set) ثبت شده است: