شاهکار صوتی جدید انویدیا: مدل BigVGAN v2 با کیفیت استودیویی و سرعت ۳ برابری از راه رسید

مدل BigVGAN v2 با پشتیبانی از کیفیت ۴۴.۱ کیلوهرتز و پردازش فوق‌سریع CUDA از راه رسید

شرکت انویدیا در به‌روزرسانی جدید BigVGAN v2، مدل‌های پیش‌آموزش‌دیده‌ای برای تولید خروجی‌های صوتی با نرخ نمونه‌برداری ۲۲.۰۵، ۲۴ و ۴۴.۱ کیلوهرتز عرضه کرده است. مدل پرچمدار این مجموعه می‌تواند اسپکتوگرام‌های مل ۱۲۸ کاناله را مستقیماً به موج‌های صوتی فوق‌العاده باکیفیت ۴۴.۱ کیلوهرتزی تبدیل کند و برای هر فریم مل، ۵۱۲ نمونه موج صوتی بسازد. علاوه بر این، یک اکستنشن سفارشی در محیط CUDA توسعه داده شده که بلوک‌های فعال‌ساز ضد اعوجاج (Anti-aliased) را با نهایت سرعت پردازش می‌کند؛ جایی که بخش عمده بار محاسباتی ژنراتور قرار دارد.

یک ووکودر عصبی (Neural Vocoder) در واقع مسئول آخرین مرحله در پایپ‌لاین‌های تبدیل متن به گفتار، تولید هوشمند موسیقی، شبیه‌سازی صدا و تبدیل ویدیو به صوت است. این مدل نمایی فشرده از فرکانس و زمان موسوم به مل‌اسپکتوگرام را تحویل می‌گیرد و نمونه‌های صوتی خام نهایی را برای ذخیره یا پخش بازسازی می‌کند. به همین دلیل، سرعت پردازش و دقت بالای ووکودر مستقیماً روی تأخیر کل سیستم، شفافیت فرکانس‌های بالا و حذف نویزهای مصنوعی اثر می‌گذارد.

آموزش روی داده‌های وسیع‌تر در کنار کرنل‌های یکپارچه محاسباتی

• عرضه در ۵ پیکربندی متنوع: چک‌پوینت‌های منتشرشده از سوی انویدیا کیفیت‌های ۲۲، ۲۴ و ۴۴ کیلوهرتز را با باندهای مل ۸۰، ۱۰۰ یا ۱۲۸ پوشش می‌دهند.
• سرعت سرسام‌آور اینفرِنس با CUDA: بر اساس گزارش انویدیا، پردازش بهینه‌شده روی یک کارت گرافیک واحد A100، در مقایسه با حالت پیش‌فرض PyTorch، بین ۱.۵ تا ۳ برابر سریع‌تر شده است.
• توابع هدف و لاس‌های بازطراحی‌شده: در فرایند آموزش از یک تفکیک‌کننده زیرباندی CQT چندمقیاسی به همراه تابع زیان مل‌اسپکتوگرام چندمقیاسی استفاده شده است.
• مجموعه داده‌های غنی‌تر: انویدیا این نسخه را روی بانک عظیمی از گفتارهای چندزبانه، ترک‌های موسیقی، صدای سازهای مختلف و اصوات محیطی آموزش داده است.

مدل باکیفیت ۴۴.۱ کیلوهرتزی با بیش‌نمونه‌برداری ۵۱۲ برابری، حدود ۱۲۲ میلیون پارامتر دارد و طی ۵ میلیون گام بهینه‌سازی آموزش دیده است؛ در حالی که سایر مدل‌های این سری حدود ۱۱۲ میلیون پارامتر دارند. البته توجه داشته باشید که جهش سرعت گزارش‌شده توسط انویدیا مربوط به مسیر ژنراتور CUDA است و سرعت خروجی کل خط لوله به مراحل تولید اسپکتوگرام، جابه‌جایی داده و انکود نهایی فایل صوتی نیز وابسته خواهد بود.