کلون کردن هر صدایی فقط با یک کلیپ ۳ ثانیه‌ای؛ قابلیت جذاب شبیه‌سازی آنی به مدل محبوب Kokoro-82M آمد

قابلیت جذاب شبیه‌سازی آنی صدا به مدل Kokoro-82M اضافه شد

مدل Kokoro-82M یکی از آن گزینه‌های جذاب حوزه تبدیل متن به گفتار است که سرعت بسیار بالا، خروجی‌های پایدار و مجموعه‌ای از بسته‌های صوتی آماده را در کنار هم ارائه می‌دهد. حالا با انتشار آداپتور جدید kokoro-inno-clone-tuner، قابلیت تطبیق آنی صدا (Zero-Shot) هم به آن اضافه شده است؛ یعنی شما می‌توانید تنها با داشتن یک کلیپ صوتی کوتاه از فردی که مدل تا حالا صدایش را نشنیده، بدون نیاز به هیچ آموزش مجدد یا فاین‌تیونینگی، صدای او را بازتولید کنید. نکته جذاب‌تر اینکه مدل پایه کاملاً دست‌نخورده (Frozen) باقی می‌ماند و آداپتور بسته‌های صوتی بومی خودِ Kokoro را تحویل می‌دهد، بنابراین پایپ‌لاین‌ها و پروژه‌های فعلی بدون نیاز به تغییر مدل سنتز صوت، می‌توانند بلافاصله از نتیجه استفاده کنند.

تولید بسته صوتی بومی تنها با یک نمونه صدا

این آداپتور دور مدل Kokoro-82M قرار می‌گیرد و فایل صوتی مرجع را به یک تانسور استاندارد با ابعاد مشخص [510, 1, 256] در Kokoro تبدیل می‌کند. برنامه‌ها می‌توانند این تانسور را مستقیماً به KPipeline ارسال کنند یا اینکه آن را با دستور torch.save به عنوان یک فایل صوتی اختصاصی و قابل استفاده مجدد ذخیره نمایند.

ثبت نمونه صدا و تولید گفتار

# Shell
pip install inno-kokoro

import torch

from inno_kokoro.enroll import Tuner, enroll, read
from kokoro import KPipeline

tuner = Tuner()
pack, _ = enroll(*read("my_ref.wav"), tuner)

torch.save(pack, "my_voice.pt")

pipeline = KPipeline(lang_code="a")
result = next(
    pipeline("Hello from a tuned voice.", voice=pack)
)
audio = result.audio

تنها شرط کار این است که کلیپ صوتی مرجع بین ۳ تا ۳۰ ثانیه زمان داشته باشد، فقط شامل صدای یک گوینده باشد و کیفیت صوتی آن به اندازه کافی شفاف و تمیز باشد. در نسخه فعلی، این قابلیت از زبان انگلیسی پشتیبانی می‌کند.

استقرار سریع و بدون دردسر همراه با تفکیک مجوزها

پروژه Kokoro-FastAPI از نسخه ۰.۹.۰ به بعد این تیونر را درون خود جای داده است؛ قابلیتی که به سرویس‌های سلف‌هاست (Self-Hosted) اجازه می‌دهد بدون بازنویسی لایه سرویس‌دهی خود، ثبت و کلونینگ صدا را پیاده‌سازی کنند. علاوه بر این، انکودر صدای ادغام‌شده باعث شده تا دیگر نیازی به دانلود جداگانه مدل ثانویه نباشد.

• کدها و وزن‌های آداپتور: مجوز Apache-2.0
• انکودر صدای ادغام‌شده: مجوز CC BY-SA 3.0

بنابراین اگر قصد دارید کل این پکیج را در پروژه‌های خود بازتوزیع یا منتشر کنید، حتماً باید تعهدات هر دو مجوز را به دقت بررسی کنید؛ به خصوص شرایط مربوط به ذکر منبع (Attribution) و اشتراک‌گذاری مشابه (Share-Alike) که برای انکودر صدا در نظر گرفته شده است.