مدل صوتی و متن‌باز Bark با ۳۹ هزار ستاره در گیت‌هاب ترند شد؛ تولید گفتار، موسیقی و خنده با یک دستور متنی

مدل متن‌باز Bark متعلق به شرکت Suno با عبور از ۳۹ هزار ستاره، بار دیگر به صفحه پروژه‌های ترند گیت‌هاب بازگشته است. مخزن گیت‌هاب Bark شامل یک مدل صوتی مبتنی بر پرامپت متنی با مجوز MIT است که می‌تواند تنها با دریافت یک دستور متنی، انواع گفتار، آواز، موسیقی، صداهای محیطی و حالات صوتی انسان مانند خنده و گریه را تولید کند.

یک وزن محاسباتی یا چک‌پوینت واحد از مدل Bark تمام وظایف صوتی را پوشش می‌دهد؛ اموری که پیش از این نیازمند خطوط پردازشی مجزا برای تولید گفتار، موسیقی و افکت‌های صوتی بودند. این دامنه گسترده از توانمندی‌ها باعث می‌شود Bark ابزاری فوق‌العاده کاربردی برای ساخت نمونه‌های اولیه، تولید داده‌های مصنوعی، صداگذاری شخصیت‌های بازی‌های ویدیویی، ابزارهای دسترس‌پذیری و پروژه‌هایی باشد که در آن‌ها بیان احساسی و طبیعی بودن لحن، اهمیت بیشتری نسبت به ادای دقیق و بی‌نقص کلمات متن دارد.

نگاهی اجمالی به مشخصات Bark

نحوه تبدیل متن به توکن‌های صوتی

مدل Bark از مجموعه‌ای از مدل‌های ترنسفورمر متوالی بهره می‌برد که ساختار آن‌ها از سیستم‌های پیشرویی مانند AudioLM و VALL-E الهام گرفته شده است. فرایند تولید صدا در این مدل در سه مرحله اصلی انجام می‌پذیرد:

1. مدل معنایی: متن ورودی را به توکن‌هایی تبدیل می‌کند که معنای زبانی و ویژگی‌های آکوستیک صدا را در خود دارند.
2. مدل درشت‌دانه: لایه‌های اولیه توکن‌های صوتی کوانتیزه‌شده را پیش‌بینی می‌کند.
3. مدل ریزدانه: بخش‌های باقی‌مانده از کتابچه‌های کد EnCodec را تکمیل کرده و سپس دی‌کودر EnCodec شکل‌موج نهایی صوت را تولید می‌کند.

توکن‌های معنایی و کدک صوتی در کنار کلمات گفتاری، توانایی بازنمایی مکث‌ها، نویز پس‌زمینه، موسیقی و سایر رخدادهای صوتی محیطی را دارند. با وجود این، همین انعطاف‌پذیری بالا ممکن است دقت وفاداری به متن اولیه را تا حدی کاهش دهد؛ به این معنا که مدل Bark گاهی ممکن است واژه‌ها را کمی تغییر دهد، اصواتی ناخواسته به صدا بیفزاید یا خروجی را با لحن گوینده یا فضایی پیش‌بینی‌نشده تولید کند.