تصمیم‌گیری هوش مصنوعی در ۲۰۴ میلی‌ثانیه؛ شاهکار مدل متن‌باز JEV-35B برای انتخاب‌های برق‌آسا
آزمایشگاه هوش مصنوعی AutoTrust با معرفی مدل متن‌باز JEV-35B، فرایند تصمیم‌گیری در سیستم‌های هوش مصنوعی را به یک درخواست API فوق‌العاده سریع با زمان پاسخ ۲۰۴ میلی‌ثانیه تبدیل کرد. این مدل با حذف تولید گام‌به‌گام توکن‌ها و تمرکز روی گزینه‌های مشخص، سرعت روتینگ و انتخاب ابزار در ایجنت‌های هوشمند را متحول می‌کند.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- آزمایشگاه AutoTrust AI از مدل متن‌باز JEV-35B رونمایی کرد؛ مدلی که بر پایه معماری MoE مدل Qwen3.5 توسعه یافته و برای تصمیم‌گیری فوق‌سریع بین حداکثر ۲۵۶ گزینه مشخص طراحی شده است.
- این مدل به‌جای اتلاف وقت برای تولید توکن‌به‌توکن فایل‌های جیسون، روی یک تراشه B200 انویدیا فقط در ۲۰۴ میلی‌ثانیه از طریق یک اندپوینت اختصاصی تصمیم نهایی را می‌گیرد.
- پشتیبانی از سه حالت تصمیم‌گیری شامل فیلترهای دودویی، امتیازدهی ۰ تا ۵ و انتخاب از میان چند گزینه، دست توسعه‌دهندگان را برای روتینگ سریع ایجنت‌ها و انتخاب ابزار کاملاً باز می‌گذارد.
تبدیل استنتاج مدل به یک API تصمیم‌گیری بین ۲۵۶ گزینه با JEV-35B
آزمایشگاه هوش مصنوعی AutoTrust از مدل با وزن‌های باز JEV-35B تحت مجوز Apache-2.0 رونمایی کرد؛ مدلی که به‌طور اختصاصی برای انتخاب بین گزینه‌های محدود و مشخص ساخته شده است. سازوکار کار با آن به این صورت است که شما در هر درخواست، یک موقعیت، یک پرسش و حداکثر ۲۵۶ گزینه پاسخ احتمالی را به مدل می‌دهید و در پاسخ، گزینه منتخب همراه با توزیع احتمالات کالیبره‌شده را تحویل می‌گیرید. بر اساس گزارش AutoTrust، میانه زمان پاسخ‌دهی برای هر درخواست روی یک تراشه B200 انویدیا فقط ۲۰۴ میلی‌ثانیه است.
مدل JEV-35B در واقع نسخه فاین‌تیون‌شده مدل Qwen3.5-35B-A3B به حساب می‌آید؛ یک مدل ترکیبی از متخصصان (MoE) با مجموع ۳۵ میلیارد پارامتر که در پردازش هر توکن تنها حدود ۳ میلیارد پارامتر آن فعال می‌شوند. همین معماری خلوت و بهینه باعث می‌شود حجم محاسبات لازم برای هر درخواست به حداقل برسد. شرکت AutoTrust وزن‌های این مدل را همراه با یک سرور vLLM و یک اندپوینت اختصاصی با آدرس /v1/decide عرضه کرده است.
یک اندپوینت، سه حالت مختلف برای تصمیم‌گیری
کار‌هایی مثل طبقه‌بندی، روتینگ (مسیریابی)، رتبه‌بندی مجدد، انتخاب ابزار توسط ایجنت‌ها و حتی کنترل رابط‌های کاربری، همگی ساختار درخواست مشابهی دارند: انتخابی معین از میان چند گزینه مشخص و محدود. وجود این اندپوینت اختصاصی، توسعه‌دهندگان را از دردسرهایی مثل تولید کُند فایل‌های JSON، اعتبارسنجی ساختار (Schema) و رمزگشایی توکن‌به‌توکن کاملاً بی‌نیاز می‌کند.
نوع تصمیم | خروجی | کاربرد معمول |
|---|---|---|
noul | احتمالات برای مقادیر false و true | بررسی‌های قانونی، گیت‌های امنیتی و کنترل دودویی |
score | یک عدد صحیح بین ۰ تا ۵ | امتیازدهی به کیفیت، میزان ارتباط یا سنجش ریسک |
choice | یکی از رشته‌های متنی ارائه‌شده (بین ۲ تا ۲۵۶ گزینه) | روتینگ، رتبه‌بندی و انتخاب ابزار |
در هر درخواست، مسیری که تیم AutoTrust آن را «سیستم ۱» (System 1) می‌نامد، حالت پنهان (Hidden State) را در آخرین توکن پرامپت می‌خواند. یک هد تصمیم‌گیری با ۲۶۴ اسلات، برای هر اسلات یک امتیاز خام یا لاجیت (Logit) صادر می‌کند که شامل دو اسلات دودویی، شش اسلات امتیازدهی و ۲۵۶ اسلات برای انتخاب گزینه‌ها است. سرور زیرمجموعه مربوطه را انتخاب کرده، این لاجیت‌ها را با تابع سافت‌مکس (Softmax) به احتمال تبدیل می‌کند و سپس میزان قطعیت آنها را با ضریب دمای ویژه هر حالت از یک فایل کالیبراسیون تنظیم می‌نماید.
وزن‌های هد تصمیم‌گیری مستقیماً در سطرهایی از هد مدل زبانی ادغام شده‌اند که به توکن‌های اسلات رزروشده اختصاص یافته‌اند.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
هوش مصنوعی بادیگارد حیات وحش می‌شود؛ ترفند جذاب استارتاپ Flox برای نجات حیوانات از ریل و فرودگاه
تصادف حیوانات وحشی با قطارها و هواپیماها سالانه صدها میلیون دلار خسارت به بار می‌آورد و جان گونه‌های ارزشمند را می‌گیرد. استارتاپ Flox با توسعه دستگاه‌های مجهز به هوش مصنوعی لبه‌ای و بینایی ماشین، حیوانات را در لحظه شناسایی کرده و با شبیه‌سازی صداهای اختصاصی، آنها را بدون آسیب از زیرساخت‌های حیاتی دور می‌کند.
سرمایه‌گذاری ۲ میلیارد دلاری انویدیا در اروپا؛ جنسن هوانگ: «قاره سبز باید وارد مسابقه هوش مصنوعی بشه!»
جنسن هوانگ، مدیرعامل انویدیا، در جریان تور اروپایی خود از برنامه سرمایه‌گذاری ۲ میلیارد دلاری در حوزه هوش مصنوعی و تزریق سرمایه به ۴ استارتاپ فرانسوی پرده برداشت. او مدل‌های متن‌باز را بهترین بخت اروپا برای جبران فاصله با آمریکا دانست و تأکید کرد که قاره سبز نباید از این ماراتن جهانی جا بماند.
فناوری شگفت‌انگیز DLSS انویدیا دقیقاً چطور کار می‌کند؟ راهنمای کامل جادوی هوش مصنوعی در گیمینگ
فناوری DLSS انویدیا به یکی از مهم‌ترین دلایل خرید کارت‌های گرافیک سری RTX تبدیل شده؛ ابزاری هوشمند که با تکیه بر یادگیری عمیق، فریم‌ریت بازی‌ها را به‌شدت بالا می‌برد بدون اینکه شفافیت و کیفیت تصویر فدا شود. در این مقاله نگاهی جامع و کاربردی به نحوه عملکرد این فناوری، تفاوت حالت‌های مختلف کیفیتی و مسیر تکامل قابلیت‌های نوین آن از فریم‌جنریشن تا فیلترهای واقع‌گرایانه DLSS 5 انداخته‌ایم.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.