رونمایی Jina AI از مدل jina-reranker-v3؛ بازرتبه‌بندی هم‌زمان ۶۴ سند در یک مرحله

ارزیابی هم‌زمان ۶۴ سند با مدل ۰٫۶ میلیارد پارامتری Jina

استارتاپ Jina AI از وزن‌های مدل jina-reranker-v3 رونمایی کرد؛ یک مدل بازرتبه‌بندی (reranker) چندزبانه با ۶۰۰ میلیون پارامتر که می‌تواند دقت سیستم‌های بازیابی اطلاعات را متحول کند. این مدل قادر است یک پرس‌وجو (Query) و حداکثر ۶۴ سند کاندیدا را در یک توالی واحد و مشترک پردازش کرده و سپس به هر سند، امتیازی بر اساس میزان ارتباط اختصاص دهد. چنین ساختار چندسندی (listwise) به اسناد بعدی اجازه می‌دهد تا در جریان یک گذر پردازشی واحد، اطلاعات اسناد قبلی را نیز در ارزیابی خود لحاظ کنند.

در فرایندهای رایج بازرتبه‌بندیِ مرحله دوم، معمولاً نیاز است یک مدل cross-encoder به‌طور مجزا برای تک‌تک جفت‌های پرس‌وجو-سند اجرا شود. در مقابل، رویکرد ابداعی Jina AI این محاسبات تکراری را به‌شدت کاهش می‌دهد و دیدی کلی درباره تمام نتایج رقیب در اختیار مدل می‌گذارد. همچنین استفاده از یک ساختار سبک و کوچک، حافظه موردنیاز برای وزن‌های مدل را کاهش داده است؛ هرچند ارزیابی فهرست‌های طولانی همچنان به حافظه پردازشی قابل‌توجهی روی GPU نیاز خواهد داشت.

یک توالی، چندین داوری دقیق

شرکت Jina AI در مقاله معماری خود، این طراحی نوین را تعامل «آخرین اما نه دیر» (last but not late interaction) نامیده است. در این فرآیند، یک ترنسفورمر علّی (Causal Transformer) توالی فشرده‌شده پرس‌وجو و اسناد را پردازش می‌کند و توکن پایانی هر سند، نمایش زمینه‌ایِ آن را ارائه می‌دهد. سپس یک پروجکتور چندلایه سبک، این نمایش را پیش از ارائه امتیاز نهایی از لایه‌هایی با ابعاد ۱٬۰۲۴، ۵۱۲ و ۲۵۶ عبور می‌دهد.

سازوکار توجه علّی باعث می‌شود که ترتیب قرارگیری اسناد در ورودی مدل اهمیت پیدا کند؛ چراکه اسناد بعدی می‌توانند به پرس‌وجو و اسناد قبلی دسترسی داشته باشند، اما اسناد ابتدایی اطلاعاتی از موارد پس از خود دریافت نمی‌کنند. از این رو، توسعه‌دهندگان باید عملکرد مدل را با ترتیب‌های متفاوتی از اسناد آزمایش کنند، زیرا پایداری رتبه‌بندی ممکن است به چیدمان اولیه نتایج در مرحله اول بازیابی وابسته باشد.

معماری ۲۸ لایه‌ای بر پایه Qwen3-0.6B از پنجره زمینه‌ای در حدود ۱۳۱ هزار توکن و حداکثر ۶۴ سند در هر فراخوانی پشتیبانی می‌کند. از آنجا که هر دو محدودیت هم‌زمان اعمال می‌شوند، ممکن است اسناد طولانی پیش از رسیدن تعداد به ۶۴ مورد، ظرفیت توکن را پر کنند. علاوه بر این، هزینه محاسباتی سازوکار توجه با افزایش طول توالی فشرده‌شده افزایش می‌یابد؛ موضوعی که نشان می‌دهد حداکثر پنجره زمینه ممکن است از محدودیت‌های حافظه یا تأخیر مجاز در پردازنده‌های گرافیکی مصرفی فراتر رود.

همچنین بردارهای تعبیه‌شده (Embeddings) اختیاری ۲۵۶ بعدی اسناد بر اساس پرس‌وجو و فهرست کاندیداها شکل می‌گیرند. این بردارها برای تحلیل‌های تکمیلی در همان درخواست بازیابی بسیار کارآمد هستند، اما نمی‌توان از آن‌ها به‌عنوان بردار استاتیک برای شاخص‌های وکتوری دائمی استفاده کرد.