انویدیا از مدل صوتی Nemotron 3.5 Transcribe رونمایی کرد؛ تبدیل گفتار به متن در ۴۰ زبان با دقت کم‌نظیر

معرفی مدل

Nemotron 3.5 Transcribe (در مخزن هاگینگ فیس با شناسه nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B) یک مدل صوتی و گفتاری متن‌باز و آفلاین است که شرکت انویدیا در تاریخ ۲۸ اکتبر ۲۰۲۶ در پلتفرم‌های Hugging Face، NGC، وب‌سایت build.nvidia.com و بخش NeMo Speech در گیتهاب منتشر کرد. این مدل با دریافت فایل صوتی به‌همراه دستور متنی، متن پیاده‌شده را تحویل می‌دهد و از قابلیت‌هایی نظیر رونویسی دقیق در ۴۰ زبان، تفکیک و انتساب گویندگان، ترجمه گفتار، ثبت برچسب زمانی کلمات، شناسایی زبان و پاسخ به پرسش‌های مرتبط با محتوای صوتی برای فایل‌هایی تا سقف یک ساعت و با پنجره زمینه ۶۵٬۵۳۶ توکن پشتیبانی می‌کند.

صفحه مدل: huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B · نسخه دموی زنده: nvidia/nemotron-transcribe · مجموعه‌داده مکمل: Granary v2 · مجوز: OpenMDW-1.1 (مجاز برای استفاده تجاری).

بررسی و مشخصات فنی

نکات کلیدی

1. معماری مدل: این سیستم یک مدل زبانی تقویت‌شده با گفتار (SALM) به شمار می‌رود. هسته مدل زبانی بر پایه ساختار ترکیبی از کارشناسان (MoE) شامل Mamba-2 و Transformer طراحی شده و در بخش ورودی نیز یک انکودر موازی کارشناس (انکودر ASR مبتنی بر Transformer به‌همراه انکودر تفکیک گوینده) قرار دارد. این مدل با احتساب انکودر صوتی در مجموع ۳۴ میلیارد پارامتر دارد که در حین اجرا تقریباً ۴٫۳ میلیارد پارامتر آن فعال هستند؛ مدل پایه آن نیز Nemotron 3.5 Lightning 30B-A3B است.
2. دقت محاسباتی و شرایط پیاده‌سازی: وزن‌های مرجع با فرمت BF16 و نسخه‌های بهینه‌شده FP8 و NVFP4 در دسترس هستند؛ در نمونه رسمی انویدیا، این مدل با فریمورک vLLM روی یک کارت گرافیک منفرد H100 80 GB اجرا می‌شود. این سیستم به‌صورت پیش‌فرض از روش رمزگشایی حدسی با پیش‌بینی هم‌زمان چند توکن (Multi-Token Prediction) و مدل پیش‌نویس اختیاری DFlash2 استفاده می‌کند.
3. یک مدل پرامپت‌پذیر برای چندین وظیفه متفاوت: پشتیبانی از تبدیل گفتار به متن به شیوه کلمه‌به‌کلمه یا متنی ویراسته، رونویسی بر اساس کلمات کلیدی زمینه، رونویسی با تفکیک چند گوینده، پیاده‌سازی غنی، ترجمه گفتار، تشخیص خودکار زبان و پاسخ به پرسش‌های صوتی؛ همچنین حالت استدلال تحلیلی را می‌توان از طریق قالب گفتگو با متغیر enable_thinking فعال کرد.
4. نتایج رسمی منتشرشده (مندرج در مستندات مدل، سنجش ۱۲ اکتبر ۲۰۲۶): میانگین نرخ خطای کلمات (WER) در بنچمارک Open ASR انگلیسی در میان ۹ مجموعه‌داده برابر با ۴٫۷۱ است (نزدیک‌ترین رقیب مدل Qwen3-ASR-1.7B با امتیاز ۴٫۹۴ بود)؛ نرخ خطا در فایل‌های طولانی ۱۰٫۹۸، میانگین نرخ خطا در ۷ زبان مختلف ۴٫۶۲ و میانگین خطای انتساب و پیاده‌سازی چند گوینده در یک جلسه کامل (cpWER) برابر با ۱۵٫۸۰ ثبت شده است.
5. ارزیابی مستقل شخص ثالث: در روز رونمایی، پلتفرم تحلیلی Artificial Analysis اعلام کرد که این مدل تنها با حدود ۴ میلیارد پارامتر فعال و با ثبت نرخ خطای ۲٫۸ درصد، به‌صورت مشترک در رتبه اول مدل‌های متن‌باز تبدیل گفتار به متن جای گرفته است.

علت اهمیت و پیگیری خبر

این ابزار یک مدل شاخص و نام‌دار از سوی یکی از بزرگ‌ترین آزمایشگاه‌های پیشرو است که مستندات فنی جامع و آزمون‌های مستقل دارد. این سری اختصاصی برای پردازش گفتار، مسیری کاملاً متمایز از مدل‌های قبلی مانند Nemotron 3.5 Bolt و Super VL را طی می‌کند.

نحوه استفاده

راه‌اندازی سریع

1. یک کارت گرافیک H100 با حافظه ۸۰ گیگابایت آماده کنید (یا جدول سازگاری سخت‌افزاری را در مستندات مدل بررسی نمایید)، سپس ابزار vLLM و جدیدترین نسخه NeMo Speech را نصب کرده و وزن‌های مدل را دریافت کنید.
2. متغیر محیطی VLLM_PLUGINS=nemo_speechlm و سایر متغیرهای سیستمی را تنظیم کنید، سپس دستور vllm serve ./NVIDIA-Nemotron-3.5-Transcribe-30B-A4B --trust-remote-code ... را اجرا نمایید (دستور کامل با تمام آرگومان‌ها در بخش راهنمای سریع صفحه مدل آمده است).
3. نقطه پایانی سازگار با استاندارد OpenAI را فراخوانی کنید: دستور متنی مورد نظر (مانند «فایل صوتی زیر را پیاده‌سازی کن») و آدرس داده صوتی audio_url با کدگذاری base64 را در آرایه messages ارسال کنید.
4. برای پیاده‌سازی متن، ترجمه و شناسایی زبان، پارامتر temperature را روی ۰ قرار دهید و حالت تفکر را خاموش بگذارید؛ برای تحلیل و پاسخ‌دهی به پرسش‌های صوتی، temperature را روی ۰٫۶ و top_p را روی ۰٫۹۵ بگذارید و حالت استدلال را روشن کنید.

نکات کاربردی

• برای ارزیابی و آزمایش اولیه مدل بدون نیاز به زیرساخت اختصاصی، می‌توانید از دموی رایگان در Hugging Face یا درگاه build.nvidia.com استفاده کنید.
• برچسب‌های گویندگان صرفاً به منظور تفکیک افراد در یک ضبط صوتی مشخص طراحی شده‌اند و به منزله شناسایی هویت واقعی افراد نیستند.
• در صورتی که با محدودیت حافظه گرافیکی مواجه هستید، راه‌اندازی را با نسخه‌های کم‌حجم‌تر FP8 یا NVFP4 آغاز نمایید.