مدل جدید Audio8 از استارتاپ Edge0 با تنها ۶۰۰ میلیون پارامتر، صدای هر فرد را به ۲۳ زبان شبیه‌سازی می‌کند

استارتاپ Edge0 از مدل تبدیل متن به گفتار جدیدی به نام Audio8-TTS-Realistic-Air با ۶۰۱ میلیون پارامتر رونمایی کرد که از شبیه‌سازی بلادرنگ و بدون نیاز به آموزش مقدماتی (Zero-shot) صدا به ۲۳ زبان مختلف پشتیبانی می‌کند. این قابلیت به مدل اجازه می‌دهد تنها با دریافت یک فایل صوتی مرجع کوتاه و متن آن، لحن و ویژگی‌های صدای گوینده را بدون نیاز به هیچگونه فرایند آموزش مجدد یا تنظیم دقیق بازآفرینی کند.

نسخه Realistic Air در واقع یک مدل بهینه‌سازی و بازتنظیم‌شده از نسخه قبلی Audio8-TTS-Preview-0.6B به‌شمار می‌رود که به گفته توسعه‌دهندگان در Edge0، ضمن حفظ همان ابعاد فشرده و سبک، وضوح و طبیعی بودن گفتار را به‌شکل محسوسی ارتقا داده است. این انتشار تحت مجوز متن‌باز Apache 2.0 ارائه شده و شامل وزن‌های مدل، توکنایزر، کدهای اختصاصی سازگار با کتابخانه Transformers و یک کدک عصبی صوتی است که صدایی شفاف با نرخ نمونهبرداری ۴۴.۱ کیلوهرتز تولید می‌کند.

معماری خودبازگشتی دوگانه؛ رمز حفظ ابعاد جمعوجور مدل

مدل Audio8 بر پایه معماری خودبازگشتی دوگانه (DualAR) طراحی شده است؛ همان رویکرد موفقی که پیشتر در مدل Fish Audio S2 Pro نیز به کار رفته بود. در این ساختار، یک ترنسفورمر خودبازگشتی ۲۴ لایه وظیفه دارد برای هر فریم صوتی یک توکن معنایی را پیش‌بینی کند و جریان محتوا، کلمات و زمانبندی گفتار را زیر نظر بگیرد. سپس یک ترنسفورمر بهمراتب کوچک‌تر با ۴ لایه، کتابچه‌های کد (Codebooks) کدک را پیش‌بینی می‌کند که حاوی جزئیات ظریف آکوستیک، رنگ صدا و لحن بیان هستند.

در مرحله بعد، کدک صوتی این مقادیر و کدهای آکوستیک را دریافت کرده و آنها را مستقیماً به‌شکل موج صوتی بازسازی می‌کند. تفکیک فرایند برنامهریزی توالی کلمات از بازتولید جزئیات لحظه‌ای فریم‌ها، برگ برنده این طراحی است؛ زیرا به مدل اصلی اجازه می‌دهد در ابعادی بسیار جمعوجور و سبک باقی بماند و در عین حال، خروجی صوتی با بالاترین کیفیت ممکن خلق کند.

مشخصات معماری و جزئیات فنی اجرا

• مدل اصلی: ۶۰۱ میلیون پارامتر (بدون محاسبه کدک صوتی)
• ترنسفورمر کند (برنامهریز معنایی): ۲۴ لایه با اندازه لایه پنهان ۸۹۶ واحد
• ترنسفورمر سریع (تولید جزئیات): ۴ لایه پردازشی
• کدک عصبی: ۱۰ کتابچه کد، هر کدام شامل ۴٬۰۹۶ مدخل
• کیفیت صدا: خروجی ۴۴.۱ کیلوهرتز با نرخ حدود ۲۱.۵ فریم کدک در ثانیه
• پنجره زمینه (Context Window): تا ۲٬۰۴۸ موقعیت مشترک برای متن و صدا
• دقت محاسباتی: فرمت BF16
• سخت‌افزار تستشده: پردازنده گرافیکی NVIDIA H20

متن ورودی، فایل صوتی مرجع برای شبیه‌سازی و گفتار نهایی تولیدشده همگی پنجره زمینه مشترک ۲٬۰۴۸ موقعیتی مدل را اشغال می‌کنند؛ بنابراین هرچه متن راهنما یا صدای مرجع طولانی‌تر باشد، فضای باقی مانده برای تولید گفتار جدید محدودتر خواهد بود. با توجه به نرخ ۲۱.۵ فریم صوتی در ثانیه، اختصاص تمام این ظرفیت فقط به صدا معادل حدود ۹۵ ثانیه گفتار پیوسته است؛ هرچند با در نظر گرفتن توکن‌های متن و داده‌های مرجع، طول واقعی هر خروجی در کاربردهای عملی کمتر از این میزان خواهد بود.