ارتقای بزرگ مدل بازرتبهبندی ELECTRA؛ جستجوی فوقسریع روی پردازندهها با ONNX و OpenVINO
مدل محبوب بازرتبهبندی ELECTRA در هاگینگفیس با پشتیبانی از فرمتهای بهینهسازیشده ONNX و OpenVINO بهروزرسانی شد. این ارتقا به توسعهدهندگان سیستمهای جستجو و خطوط لوله RAG اجازه میدهد بدون نیاز به پردازندههای گرافیکی سنگین، مدل را با سرعتی بهمراتب بالاتر روی CPU اجرا کرده و کیفیت نتایج نهایی را متحول کنند.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهمترین نکات و تحولات این گزارش برای مطالعه سریع
- مدل پرکاربرد بازرتبهبندی cross-encoder/ms-marco-electra-base در هاگینگفیس بهروزرسانی شده و حالا فرمتهای پرسرعت Safetensors، ONNX و OpenVINO رو در اختیار توسعهدهندهها قرار داده.
- این فرمتهای جدید باعث میشن بدون افت کیفیت، سرعت استنتاج مدل روی پردازندههای معمولی (CPU) و شتابدهندههای سختافزاری به شکل چشمگیری افزایش پیدا کنه.
- مدلهای کراسانکودر دقت نتایج سیستمهای جستجو و خطوط لوله RAG رو بهشدت ارتقا میدن و حالا با پشتیبانی از استقرار در محیطهای پروداکشن، پیادهسازی اونها بسیار کمهزینهتر و سریعتر شده.
اضافه شدن فرمتهای پرسرعت به مدل بازرتبهبندی ELECTRA
چکپوینت محبوب cross-encoder/ms-marco-electra-base در هاگینگفیس (Hugging Face) حالا علاوه بر وزنهای استاندارد PyTorch، از فرمتهای مدرن و بهینهسازیشده Safetensors، ONNX و OpenVINO هم پشتیبانی میکنه. معماری اصلی این مدل تغییری نکرده، اما این فرمتهای جدید دست توسعهدهندهها رو برای اجرای سریعتر مدل روی پردازندهها (CPU)، استفاده از شتابدهندههای سختافزاری و بارگذاری کاملاً ایمن وزنها حسابی باز میذاره.
این مدل حدوداً ۱۱۰ میلیون پارامتری که بر پایه تفکیککننده پایه ELECTRA ساخته شده، روی مجموعهداده معروف MS MARCO برای رتبهبندی متنهای انگلیسی آموزش دیده و تنظیم شده. این پروژه تحت مجوز متنباز آپاچی ۲.۰ (Apache 2.0) منتشر شده و به عنوان یک بازرتبهبندیکننده (Reranker) مرحله دوم در موتورهای جستجو و سیستمهای هوش مصنوعی مبتنی بر بازیابی افزوده (RAG) نقشی حیاتی بازی میکنه.
چرا بازرتبهبندی نتایج برتر (Top-K) اینقدر مهمه؟
ابزارهای بازیابی مرحله اول مثل روش سنتی BM25 یا شاخصهای مبتنی بر امبدینگ، حجم عظیمی از دادهها رو با سرعت بالا جستجو میکنن؛ اما نتایج صدر جدول اونها معمولاً شامل موارد نامربوط یا ضعیف هم هست. اینجاست که مرحله بازامتیازدهی با کراسانکودر (Cross-Encoder) وارد عمل میشه و قبل از رسیدن متنها به دست کاربر یا مدل زبانی، ترتیب و کیفیت نتایج رو حسابی ارتقا میده.
سیستمهای بازیابی بایانکودر (Bi-Encoder) پرسوجو و متنها رو جداگانه به بردار تبدیل کرده و بعد بردارهای اونها رو با هم مقایسه میکنن. در نقطه مقابل، یک کراسانکودر جفت «پرسوجو-متن» رو همزمان وارد یک ترنسفورمر میکنه تا تمام توکنهای سوال بتونن به توکنهای متن توجه کنن (مکانیزم Full Attention) و در نهایت یک امتیاز مرتبط بودن دقیق تولید بشه. این پردازش مشترک، دقت رتبهبندی رو فوقالعاده بالا میبره، هرچند به خاطر پردازش جداگانه برای تکتک گزینهها، بار محاسباتی بیشتری نسبت به روشهای معمولی داره.
- بازیابی اولیه مجموعهای از متنهای کاندید (معمولاً بین ۲۰ تا ۱۰۰ متن).
- جفت کردن هر متن با پرسوجوی اصلی کاربر.
- امتیازدهی دستهای به جفتها به کمک کراسانکودر.
- مرتبسازی بر اساس بیشترین امتیاز و انتخاب بهترین متنها.
اجرای سریع مدل با چند خط کد ساده
کتابخانه کاربردی Sentence Transformers تمام مراحل توکنایز جفتی، دستهبندی، ارسال دادهها به سختافزار مورد نظر و تبدیل امتیازها رو بهسادگی مدیریت میکنه.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
فرمانده استارشیپ بر مسند ابررایانش؛ نقشه تازه ایلان ماسک برای دیتاسنترهای غولپیکر ممفیس
ایلان ماسک با انتصاب یکی از کهنهکاران پروژه استارشیپ به عنوان مدیر ارشد دیتاسنترهای ممفیس، سرعت توسعه زیرساختهای هوش مصنوعی خود را دوچندان کرده است. این غول پردازشی علاوه بر تقویت مدلهای xAI، با اجاره پردازندههای انویدیا به شرکتهایی چون آنتروپیک و گوگل، درآمدی میلیاردی به جیب اسپیسایکس سرازیر میکند.
پیشبینی تکاندهنده گارتنر: ۷۰ درصد سازمانها ایجنتهای هوش مصنوعی پیمانکاران را کنار میگذارند!
مؤسسه پژوهشی گارتنر پیشبینی کرده که تا سال ۲۰۲۸، از هر ۱۰ شرکت، ۷ مورد پروژههای ایجنت هوش مصنوعی ساختهشده توسط پیمانکاران را به دلیل هزینههای سرسامآور و ناتوانی در نگهداری مستقل رها میکنند. به گفته تحلیلگران، وابستگی شدید به مهندسان خارجی و شگردهای بازاریابی فریبنده، سازمانها را در دام هزینههای گزاف گرفتار کرده است. گارتنر به مدیران فنی توصیه میکند پیش از ورود به قراردادهای گرانقیمت، روی توانمندسازی و ساخت مهارتهای تیم داخلی خود تمرکز کنند.
صندوق ۲۰۰ میلیون دلاری دن آیوز کلید خورد: فرصت خرید سهام غولهای خصوصی هوش مصنوعی برای مردم عادی!
دن آیوز، تحلیلگر نامآشنای والاستریت، با راهاندازی یک صندوق ۲۰۰ میلیون دلاری در بورس نیویورک، راه را برای سرمایهگذاران عادی هموار کرده تا بتوانند پیش از عرضه عمومی، در استارتاپهای بزرگ و خصوصی هوش مصنوعی سهام بخرند. هدف این صندوق شکستن انحصار سرمایهگذاران سیلیکونولی و ایجاد فرصتی برابر برای عموم مردم در انقلاب هوش مصنوعی است.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.