مدل‌های فوق‌سبک Phonon تبدیل متن به گفتار را با حجم زیر ۷۵ مگابایت به مرورگرها می‌آورند

استارتاپ Gradium خانواده‌ای از مدل‌های کم‌حجم تبدیل متن به گفتار (TTS) را به نام Phonon معرفی کرده است که به‌طور ویژه برای اجرای محلی روی مرورگرها، اپلیکیشن‌های موبایل و محیط‌های پردازشی بدون کارت گرافیک (فقط پردازنده مرکزی یا CPU) طراحی شده‌اند. بر اساس ارزیابی‌های انجام‌شده، این مدل‌ها در دقت تبدیل متن به گفتار و آزمون‌های شنوایی دوسوکور عملکرد بهتری نسبت به گزینه‌های متن‌بازِ بزرگ‌تر ثبت کرده‌اند؛ در حالی که حجم فایل وزن‌های منتشرشده آن‌ها زیر ۷۵ مگابایت باقی می‌ماند.

مدل پرچمدار این مجموعه با نام phonon-31m-en دارای ۳۱ میلیون پارامتر است و تحت مجوز متن‌باز Apache 2.0 عرضه می‌شود. این خانواده مدلی در مجموع از زبان‌های انگلیسی، فرانسوی، آلمانی، اسپانیایی و پرتغالی پشتیبانی می‌کند، هرچند مدل‌های بزرگ‌تر آن با مجوزهای غیرتجاری در دسترس قرار گرفته‌اند.

مدل Phonon با استفاده از معماری ترنسفورمر تطبیق جریان (Flow-Matching Transformer)، نمایش‌های صوتی فشرده‌ای می‌سازد و در هر گام یک فریم ۸۰ میلی‌ثانیه‌ای تولید می‌کند. سپس کدک Mimi این داده‌های میانی را به فایل صوتی نهایی تبدیل (دیکود) می‌کند. از آنجا که فرآیند رمزگشایی هم‌زمان با تولید داده پیش می‌رود، پخش صدا می‌تواند حتی پیش از اتمام پردازش کل جمله آغاز شود.

یک محیط اجرایی واحد و سه شاخه انتشار

هر سه نسخه منتشرشده از یک رابط برنامه‌نویسی (API) اجرایی مشترک استفاده می‌کنند. توسعه‌دهندگان مدل مورد نظر را از طریق شناسه مخزن آن انتخاب می‌کنند و تنظیمات زبان و صدا نیز متناسب با همان مدل تنظیم می‌شود.

علامت Q8 نشان‌دهنده کوانتیزاسیون هشت‌بیتی وزن‌ها است که فضای ذخیره‌سازی و توان پردازشی مورد نیاز را به حداقل می‌رساند. ارقام اعلام‌شده صرفاً مربوط به حجم فایل وزن‌های مدل هستند و حجم کلی پکیج نرم‌افزاری یا میزان مصرف رم (RAM) در زمان اجرا را در بر نمی‌گیرند.

در حال حاضر تنها نسخه انگلیسی ۳۱ میلیون پارامتری با مجوز Apache 2.0 اجازه استفاده تجاری بدون محدودیت را دارد. نسخه‌های ۴۰ میلیون پارامتری تحت مجوز CC BY-NC نیازمند ارجاع به سازنده بوده و بهره‌برداری تجاری از آن‌ها ممنوع است؛ البته Gradium امکان خرید مجوزهای تجاری مجزا را نیز فراهم کرده است.

پیشتازی در بنچمارک‌ها

طبق گزارش Gradium، مدل phonon-31m-en در یک مجموعه‌داده آزمایشی دشوار شامل شماره‌های تلفن، آدرس‌های ایمیل و کدهای پستی، نرخ خطای کلمات (WER) برابر با ۱٫۷ درصد به ثبت رسانده است. در همین ارزیابی، مدل رقیب Kokoro امتیاز ۳٫۵ درصد و NeuTTS Nano نرخ خطای ۸٫۷۱ درصد کسب کردند. نرخ خطای پایین‌تر نشان می‌دهد که سیستم‌های بازشناسی گفتار متن را با دقت و درستی بسیار بیشتری از روی صدای تولیدشده تشخیص داده‌اند.

در هر پنج زبان پشتیبانی‌شده، یکی از مدل‌های خانواده Phonon در سه شاخص گزارش‌شده یعنی امتیاز Elo حاصل از آزمون شنوایی دوسوکور، نرخ خطای کلمات در آزمون دشوار با داوری مدل‌های زبانی و نرخ خطای بنچمارک Seed-TTS رتبه اول را کسب کرده است. البته امتیازهای Elo متناسب با مجموعه مدل‌های حاضر در همان آزمون سنجیده می‌شوند و نمی‌توان آن‌ها را مستقیماً با لیدربوردهای نامرتبط دیگر مقایسه کرد.

توجه به این نکته ضروری است که این نتایج توسط خود شرکت منتشر شده‌اند و حاصل یک ارزیابی مستقل خارجی نیستند. برای استفاده واقعی در محیط تولید (Production)، آزمون‌های عملکردی باید روی سخت‌افزار نهایی و با متونی شامل اسامی خاص، اعداد، کلمات اختصاری، اصطلاحات تخصصی و لهجه‌های متنوع انجام شوند.

تاخیر بسیار کم بدون نیاز به کارت گرافیک

محیط اجرایی Phonon به‌طور خاص برای پردازنده‌های مرکزی، شتاب‌دهنده‌های موبایل و بک‌اند مرورگرهای وب بهینه‌سازی شده است. بررسی‌های شرکت Arm با استفاده از کرنل‌های بهینه‌سازی KleidiAI نشان می‌دهد که اولین بایت‌های صدا روی پردازنده‌های Arm تنها پس از ۲۸ میلی‌ثانیه پخش می‌شوند و سرعت تولید صدا به ۱۵ برابر زمان واقعی می‌رسد.

توان عملیاتی ۱۵ برابر زمان واقعی بدین معناست که پس از شروع سنتز، سیستم می‌تواند ۱۵ ثانیه خروجی صوتی را تنها ظرف حدود یک ثانیه تولید کند. البته از آنجا که نتایج اعلام‌شده برای پلتفرم‌های مختلف با سخت‌افزارهای و بک‌اندهای متفاوتی آزمایش شده‌اند، نمی‌توان آن‌ها را یک مقایسه آزمایشگاهی کنترل‌شده بین‌پلتفرمی به حساب آورد.

از جمله بک‌اندهای در دسترس برای اجرا می‌توان به CUDA، Metal، Vulkan، WebGPU، WebAssembly، Arm Neon و Intel AVX2 اشاره کرد که در زمان بیلد نرم‌افزار، مناسب‌ترین گزینه انتخاب می‌شود.

نسخه دموی تحت وب Gradium، پس از بارگذاری اولیه‌ی فایل‌های مورد نیاز، کل فرآیند تبدیل متن به گفتار را مستقیماً درون تب مرورگر کاربر انجام می‌دهد. اپلیکیشن‌های کاملاً آفلاین نیز تنها کافی است فایل‌های مدل را در پکیج خود ذخیره یا کَش کنند؛ پس از آن دیگر هیچ نیازی به ارسال درخواست یا فرستادن متن به سرورهای خارجی وجود نخواهد داشت.

از نصب پکیج تا استریم صدا در پایتون

pip install ptts

رابط برنامه‌نویسی پایتون این کتابخانه می‌تواند فایل نهایی را به فرمت WAV ذخیره کند یا داده‌ها را در حین فرآیند تولید به‌صورت تکه‌های PCM با دقت اعشاری (float32) استریم کند:

import ptts

tts = ptts.TTS(
    \"hf://gradium/phonon-31m-en\",
    lang=\"en\",
    quant=\"q8\",
)

tts.save(
    \"speech.wav\",
    \"Hello from Phonon.\",
    voice=\"en_us_Easton\",
)

with tts.stream(
    \"Speech can start playing right away.\",
    voice=\"en_us_Easton\",
) as audio:
    for pcm in audio:
        ...  # float32 chunks at audio.sample_rate

آرگومان lang نحوه استانداردسازی متن، از جمله پردازش و خوانش صحیح اعداد، تاریخ‌ها، واحدهای پولی و آدرس‌های ایمیل را مدیریت می‌کند. اپلیکیشن‌های متکی به پخش زنده (استریمینگ) می‌توانند هر تکه داده PCM را بلافاصله پس از تولید به خروجی صوتی ارسال کنند تا تاخیر به حداقل برسد.

هماهنگی کامل با ابزارها و فریم‌ورک‌های توسعه

مدل Phonon به‌خوبی با کتابخانه Transformers در Hugging Face، Ollama، سامانه Bionic Read Aloud در نرم‌افزار LM Studio، فریم‌ورک MLX-Audio در پردازنده‌های اپل سیلیکون و پلتفرم Pipecat برای ساخت ایجنت‌های صوتی هماهگ می‌شود. علاوه بر این، یک سرور سازگار با استانداردهای OpenAI نیز در نظر گرفته شده است تا سرویس‌هایی که پیش‌تر برای اندپوینت‌های صوتی اوپن‌ای‌آی توسعه یافته‌اند، بتوانند بدون تغییرات زیرساختی از این مدل بهره ببرند.

محیط اجرایی این سیستم رابط‌های مستقیم ارتباطی (FFI) برای زبان‌های Rust، پایتون، Swift، C، C++ و WebAssembly ارائه می‌دهد. این تنوع بالا امکان استفاده از این خانواده مدلی را در اپلیکیشن‌های بومی، کدهای تحت وب در مرورگر، سیستم‌های تعبیه‌شده (امبدد) و سرویس‌های محلی فراهم می‌سازد.

پلتفرم Gradium حدود ۱۰۰ صدای پیش‌فرض را در اختیار کاربران می‌گذارد. همچنین قابلیت‌هایی مانند شبیه‌سازی فوری صدا (Voice Cloning) و طراحی صدا بر پایه دستور متنی از طریق سرویس Gradium Studio در دسترس هستند که به‌صورت مجزا از مدل ۳۱ میلیون پارامتری تحت مجوز Apache ارائه می‌شوند.

از Pocket TTS تا معماری Phonon

مدل Phonon بر پایه پروژه Pocket TTS و کدک Mimi که توسط آزمایشگاه فرانسوی Kyutai توسعه یافته، شکل گرفته است. در حالی که Pocket TTS توانایی سنتز بی‌درنگ گفتار را روی پردازنده‌های معمولی به اثبات رسانده بود، Phonon با ارائه مدل‌های کوانتیزه‌شده، قابلیت استریمینگ آنی، سازگاری با بک‌اندهای سخت‌افزاری گوناگون، نرمال‌سازی متنی ویژه هر زبان و اتصال به محیط‌های برنامه‌نویسی پرکاربرد، آن دستاورد را به سطح کاملاً جدیدی ارتقا داده است.

کاربردهای کلیدی و سناریوهای عملیاتی

• دستیارهای آفلاین و ابزارهای دسترسی‌پذیری: تولید محلی صدا امکان پشتیبانی از صفحه‌خوان‌ها و قابلیت‌هایی مشابه TalkBack در اندروید را بدون نیاز به ارسال متن به سرویس‌های ابری فراهم می‌کند.
• دیالوگ در بازی‌های ویدیویی: پروژه xybrid.ai مدل Phonon را درون موتور بازی‌سازی پیاده کرده است تا صدای شخصیت‌ها به‌صورت در لحظه و روی دستگاه تولید شود.
• ایجنت‌های صوتی متکی به پردازنده (CPU): تیم Modal نشان داده است که ایجنت‌های توسعه‌یافته با Pipecat می‌توانند تولید محلی گفتار را بدون نیاز به برقراری ارتباط شبکه با سرورهای خارجی TTS آغاز کنند.
• گجت‌های پوشیدنی: در یک دموی آزمایشی، مدل Phonon با موفقیت روی ساعت هوشمند اپل واچ با وای‌فای خاموش اجرا شده است.
• سیستم‌های خودرویی: استارتاپ Gradium با همکاری شرکت تأمین قطعات خودرویی Forvia پروژه‌ای مشترک را در بخش تحقیق و توسعه به پیش می‌برد.

محدودیت‌ها و چالش‌های پیاده‌سازی

این تغییرات چه معنایی برای توسعه‌دهندگان دارد؟

تیم‌هایی که روی قابلیت‌های صوتی در مرورگرها، موبایل و لبه شبکه (Edge) کار می‌کنند، اکنون می‌توانند یک مدل انگلیسی ۶۴٫۵ مگابایتی تحت مجوز Apache را بدون نیاز به زیرساخت‌های گران‌قیمت کارت گرافیک یا ارسال متن به سرویس‌های ابری تبدیل گفتار آزمایش کنند. با این حال، تصمیم نهایی برای استفاده در مقیاس عملیاتی همچنان به ارزیابی کیفیت صدا در واژگان اختصاصی محصول، میزان رم مورد نیاز، پشتیبانی سخت‌افزاری و ملاحظات مربوط به مجوز بستگی دارد.

شاخص‌های ارائه‌شده از سوی Gradium پیرامون نرخ خطای کلمات، امتیاز Elo و زمان تاخیر، نقطه آغاز ارزشمندی برای ارزیابی هستند؛ با این حال، سنجش عملکرد با یک بانک متنی استاندارد و پایش دقیق مصرف منابع روی سخت‌افزار نهایی است که نشان می‌دهد آیا Phonon می‌تواند جایگزین سرویس‌های ابری یا موتورهای تبدیل گفتار فعلی در پروژه‌های تجاری شود یا خیر.