معرفی Simple Jev؛ تبدیل مدلهای Hugging Face به APIهای دستهبندی سریع و ساختاریافته
شرکت Featherless AI از ابزار متنباز Simple Jev تحت مجوز آپاچی ۲.۰ رونمایی کرد که امکان تبدیل مدلهای زبانی متنباز پلتفرم Hugging Face به APIهای دستهبندی سریع و کمهزینه را فراهم میسازد. این ابزار بدون نیاز به حلقه تولید خودبازگشتی، مستقیماً از لاجیتهای مدل برای دستهبندی ساختاریافته بهره میبرد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهمترین نکات و تحولات این گزارش برای مطالعه سریع
- ابزار Simple Jev مدلهای زبانی متنباز پلتفرم Hugging Face مانند Qwen و Gemma را به API دستهبندی ساختاریافته تبدیل میکند.
- این کتابخانه جایگزینی آزاد و متنباز تحت مجوز Apache 2.0 برای سرویس اختصاصی و تجاری Jev متعلق به TypeSafe AI است.
- فرایند استنتاج بدون نیاز به حلقه تولید خودبازگشتی متن و تنها با مقایسه لاجیتهای توکنهای بعدی انجام میشود که سرعت را به طرز چشمگیری افزایش میدهد.
- این سرویس از سه نوع ارزیابی شامل انتخاب چندگزینهای (Choice)، امتیازدهی سطحی (Score) و سنجش راستیآزمایی شواهد (Noul) پشتیبانی میکند.
تبدیل مدلهای Hugging Face به APIهای دستهبندی با Simple Jev
شرکت Featherless AI مخزن نرمافزاری Simple Jev را منتشر کرد؛ کتابخانهای تحت مجوز آپاچی ۲.۰ (Apache License 2.0) که مدلهای زبانی سازگار در پلتفرم Hugging Face را در قالب یک API دستهبندیِ ساختاریافته در دسترس قرار میدهد. این پروژه در واقع پیادهسازی متنباز و آزادی از همان رابط کاربری و عملکردی است که پیشتر توسط سرویس غیرمتنباز Jev متعلق به شرکت TypeSafe AI ارائه میشد.
سرویس Jev شرکت TypeSafe متن ورودی (Context) را دریافت کرده و تصمیمهای دستهبندیشده را همراه با امتیاز اطمینان (Confidence Score) بازمیگرداند. این سرویس هزینهای معادل ۰٫۰۴۲ دلار به ازای هر یک میلیون توکن ورودی، توکنهای خروجی رایگان و زمان پاسخی بین ۷۰ تا ۵۰۰ میلیثانیه را ارائه میدهد. اکنون Simple Jev همان ساختار کاری را از طریق مدلهایی مانند Qwen و Gemma پیادهسازی کرده است و امکاناتی چون میزبانی شخصی (Self-hosting)، دموی عمومی رایگان و یک اندپوینت میزبانیشده توسط Featherless را پیش روی توسعهدهندگان میگذارد.
خروجی ساختاریافته بدون نیاز به تولید متن
ابزار Simple Jev پاسخها را بر اساس لاجیتهای توکن بعدی مدل (Logits) استخراج میکند؛ لاجیتها نشاندهنده امتیازات مدل برای توکنهای احتمالی بعدی هستند. هر درخواست شامل یک بافت متنی مشترک و یک یا چند پرسش به همراه برچسبهای مجاز است. در ادامه، سرور لاجیتهای مربوط به آن برچسبها را با یکدیگر مقایسه کرده و پاسخ JSON را بر اساس احتمالات آماری آنها تولید میکند.
در طول فرایند استنتاج، مدل صرفاً یک دور پردازش اولیه (Prefill Pass) روی متن ورودی (پرامپت) انجام میدهد و به مجموعه محدودی از توکنهای مجاز پاسخ، نظیر red و blue، امتیاز میدهد. بدین ترتیب، این درخواست هیچ نیازی به چرخه رمزگشایی خودبازگشتی (Autoregressive Decode Loop)، نمونهبرداری مقید به اسکیما یا تجزیه خروجیهای متنی به JSON ندارد. برای پرسشهای چندگزینهای، پاسخ نهایی شامل برچسب انتخابشده، نمره اطمینان آن و توزیع کامل احتمال در میان تمام گزینهها خواهد بود.
این API از سه نوع پرسش مختلف پشتیبانی میکند:
نوع | هدف | نتیجه |
|---|---|---|
choice | انتخاب از میان ۲ تا ۵۰ شناسه یا گزینه مختلف. | گزینهای با بالاترین امتیاز به همراه توزیع کامل احتمالات را بازمیگرداند. |
score | ارزیابی ورودی بر اساس یک معیار رتبهبندی مرتب با ۲ تا ۵۰ سطح مختلف. | شاخص مبتنی بر صفر مورد انتظار را بازمیگرداند. این مقدار میتواند اعشاری باشد؛ برای مثال، یک معیار سهسطحی نمرهای بین ۰ تا ۲ تولید میکند. |
noul | سنجش میزان حقیقت یا شواهد تأییدکننده. | مقداری بین ۰٫۰۱ تا ۰٫۹۹ را بازمیگرداند که از احتمالات اختصاصیافته به ۹ توکن رتبهبندی حاصل میشود. |
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
رکورد ۸۳۳ هزار دانلود ماهانه برای LEGAL-BERT؛ وقتی توسعهدهندهها قید مدلهای گرانقیمت را میزنند!
مدل زبانی تخصصی LEGAL-BERT با ثبت بیش از ۸۳۳ هزار دانلود در ماه روی پلتفرم هاگینگ فیس حسابی خبرساز شده است. این ابزار جمعوجور و تخصصی نشان میدهد که برای پردازش و تحلیل متون حقوقی، حتماً نیازی به مدلهای غولپیکر و پرهزینه ندارید و گزینههای بهینه همچنان در اوج هستند.
جاسوسی هوش مصنوعی در محل کار؛ کارمندان میگویند کارفرماها باید قانوناً مچگیریهایشان را لو بدهند!
نظرسنجیهای تازه نشان میدهد که بیشتر کارمندان حس میکنند مدیرانشان با ابزارهای هوش مصنوعی تمام حرکات آنها را زیر نظر گرفتهاند. حالا بیش از ۸۰ درصد شاغلان خواستار تصویب قانونی شدهاند که شرکتها را مجبور کند هرگونه مچگیری و نظارت هوش مصنوعی در محیط کار را رسماً اعلام کنند.
گزارش داغ مایکروسافت از نفوذ جهانی هوش مصنوعی؛ امارات در صدر و رتبه عجیب آمریکا!
مایکروسافت در تازهترین گزارش خود از ضریب نفوذ هوش مصنوعی در جهان پرده برداشت؛ آماری شگفتانگیز که نشان میدهد امارات و سنگاپور با فاصلهای خیرهکننده پیشتاز دنیا هستند و در مقابل، آمریکا در رتبه ۲۱ جا مانده است. همچنین الگوی استفاده از هوش مصنوعی میان کشورهای غربی و کشورهای در حال توسعه، از تفاوتی عمیق میان کاربردهای روزمره و آموزش پرده برمیدارد.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.