کارگردانی صدای هوش مصنوعی درست مثل فیلم‌نامه سینمایی؛ رونمایی از مدل Drama 3

استارتاپ Fish Audio به‌تازگی از مدل جدیدی به نام Drama 3 رونمایی کرده است؛ یک مدل تبدیل متن به صوت (TTS) پیشرفته که به طور ویژه برای جان بخشیدن به صحنه‌ها و دیالوگ‌ها بر اساس فیلم‌نامه‌های کارگردانی‌شده طراحی شده است. از این پس توسعه‌دهندگان می‌توانند راهنماهای بازیگری و دستورات لحن را با زبان طبیعی در کنار دیالوگ‌ها قرار دهند؛ دستوراتی که حتی قادرند نحوه ادای کلمات را در میانه یک جمله تغییر دهند. این مدل ۳۵ میلیارد پارامتری که از معماری ترکیب متخصصان (MoE) بهره می‌برد، به صورت وزن‌باز (Open-weight) روی هاگینگ فیس و همچنین از طریق API رسمی Fish Audio با شناسه drama-3-preview در دسترس قرار گرفته است.

این رونمایی جذاب درست پس از جذب سرمایه اولیه ۵۲ میلیون دلاری و ثبت بیش از ۱۵ میلیون کاربر برای این استارتاپ رقم می‌خورد. مدل Drama 3 نخستین مدل پرچمدار و قابل‌کارگردانی Fish Audio در رده مدل‌های وزن‌باز به حساب می‌آید و به تیم‌های توسعه این امکان را می‌دهد تا به انتخاب خود، از اندپوینت ابری استفاده کنند یا این مدل را مستقیماً روی سرور‌های اختصاصی خود به اجرا درآورند.

کارگردانی زنده در دل فیلم‌نامه

مدل Drama 3 توانایی درک نشانه‌های اجرایی و لحن را در زبان‌های انگلیسی، چینی، ژاپنی و سایر زبان‌های پشتیبانی‌شده دارد. دستوراتی که داخل کروشه قرار می‌گیرند، می‌توانند شیوه ادای جمله را دقیقاً از همان نقطه در متن تغییر دهند یا رخدادهایی صوتی مانند «آه کشیدن» ایجاد کنند. همچنین تگ‌های دوگانه مانند <whisper> این اثر (مانند پچ‌پچ یا نجوا کردن) را منحصراً به کلمات قرارگرفته در میان تگ محدود می‌سازند.

• کارگردانی در میانه جمله: یک جمله می‌تواند کاملاً آرام و خونسرد آغاز شود و ناگهان بدون نیاز به ضبط برداشت‌های جداگانه، با حالتی وحشت‌زده و مضطرب به پایان برسد.
• صحنه‌های چند گوینده: چند کاراکتر مختلف می‌توانند در یک فایل خروجی مشترک هم‌صحبت شوند، در حالی که هر یک صدای خاص و متمایز خود را به دقت حفظ می‌کنند.
• ترمیم موضعی صدا (Audio Inpainting): امکان بازتولید یک کلمه یا بخش مشخص از فایل صوتی وجود دارد، در حالی که بقیه بخش‌های صدا کاملاً دست‌نخورده باقی می‌مانند.
• ادای پیوسته در متن‌های طولانی و چندزبانه: این مدل لحن و جنس صدا را در طول متون طولانی حفظ می‌کند، می‌تواند در میانه یک صحنه بین زبان‌های گوناگون جابه‌جا شود و دستورات تلفظی دقیق در سطح واج‌ها (Phoneme) را دریافت کند.

I'm fine. Really. <whisper>Go on without me.</whisper>
Alright, [sigh] let's try again.
[warm and relaxed, like talking to an old friend] It's been a while.

تیم Fish Audio همچنین قابلیتی به نام Auto Tag معرفی کرده که به شکل خودکار، دستورات اجرایی و حسی اولیه را برای دیالوگ‌های خام و بدون برچسب پیشنهاد می‌دهد.

اصلاحات موضعی بدون نیاز به ضبط مجدد کل برداشت

فناوری ترمیم صوتی (Audio Inpainting)، بخش جایگزین‌شده را دقیقاً با صدای قبل و بعد از محدوده انتخابی هماهنگ می‌سازد. این تطابق با بستر صدا باعث می‌شود بخش جدید از نظر گوینده، حس‌وحال، زمان‌بندی و ریتم هیچ تفاوتی با سایر بخش‌ها نداشته باشد؛ مزیتی که نیاز به بازتولید کل جمله را پس از یک ویرایش کوچک در فیلم‌نامه کاملاً از بین می‌برد.

«وقتی فقط یک کلمه را عوض می‌کنید، Drama 3 به صدای قبل و بعد از آن گوش می‌دهد و کلمه جدید را طوری می‌نشاند که کاملاً با بقیه متن جور شود؛ همان صدا، همان حس‌وحال و همان ریتم. شاید در ظاهر ساده به نظر برسد، اما اجرای درست این ویژگی یکی از سخت‌ترین بخش‌های ساخت این مدل بود.» — شیجیا لیائو (Shijia Liao)، هم‌بنیان‌گذار و دانشمند ارشد استارتاپ Fish Audio

برای پروژه‌هایی مانند بازی‌های ویدیویی پردیالوگ، کتاب‌های صوتی، خطوط بومی‌سازی و دوبله، و همچنین ایجنت‌های گفت‌وگومحور، این ترمیم موضعی می‌تواند بار بازتولیدهای تکراری و ادیت دستی فایل‌های صوتی را به حداقل برساند. نسخه پیش‌نمایش همچنین از تغییر صدا در طول یک جمله و رندر هم‌زمان چند شخصیت در یک مرحله استنتاج پشتیبانی می‌کند.

محاسبات سبک در کنار درک کامل اتمسفر صحنه

مدل Drama 3 در مجموع شامل ۳۵ میلیارد پارامتر است، اما برای پردازش هر توکن تنها حدود ۳ میلیارد پارامتر را فعال می‌کند. سازوکار مسیریابی در معماری ترکیب متخصصان (MoE) در زمان استنتاج، تنها زیرمجموعه‌ای از اجزای تخصصی مدل را فراخوانی می‌کند که این کار در مقایسه با فعال‌سازی تمام پارامترها، محاسبات را به شدت سبک‌تر می‌کند. البته عدد ۳ میلیارد پارامتر نشان‌دهنده محاسبات پردازشی به ازای هر توکن است و در برنامه‌ریزی حافظه رم و گرافیک باید اندازه کامل چک‌پوینت، دقت عددی (Precision)، کش زمان اجرا و طول کانتکست در نظر گرفته شود.

استارتاپ Fish Audio ریشه سیستم چند گوینده خود را در خانواده مدل‌های S2 جست‌وجو می‌کند. مدل S2 توانایی پردازش صدای مرجع شامل چندین گوینده و اختصاص یک توکن اختصاصی به هر صدا را دارد. اکنون Drama 3 این رویکرد را بسط داده تا کل صحنه را در قالب یک جریان صوتی پیوسته خلق کند؛ قابلیتی که باعث می‌شود کاراکترها با ریتمی هماهنگ پاسخ دهند و دیگر نیازی به به هم چسباندن کلیپ‌های صوتی جداگانه نباشد.

به گفته سازندگان، این مدل در متن‌های طولانی ثبات جنس صدا و ضرب‌آهنگ کلام را در طول خروجی پیوسته حفظ می‌کند. این ویژگی مستقیماً برای تولید کتاب‌های صوتی و میان‌پرده‌های سینمایی چنددقیقه‌ای طراحی شده؛ جاهایی که تکه‌تکه کردن درخواست‌ها معمولاً تغییرات ناخوشایندی در صدا یا ضرب‌آهنگ به وجود می‌آورد. با این حال، این شرکت هنوز حداکثر طول کانتکست کاربردی یا بنچمارک‌های مستقل متون بلند را منتشر نکرده است.

سه مسیر پیش‌رو برای استقرار و استفاده در پروداکشن

• سرویس ابری (Hosted API): ارسال فیلم‌نامه نشانه‌گذاری‌شده از طریق REST یا استریم WebSocket با تعیین شناسه drama-3-preview در هدر درخواست. شرکت Fish Audio کیت‌های توسعه نرم‌افزاری (SDK) رسمی پایتون و تایپ‌اسکریپت را نیز ارائه داده است.
• میزبانی اختصاصی وزن‌ها (Self-hosted): دانلود چک‌پوینت مدل از هاگینگ فیس و به‌کارگیری ابزار‌های fish-speech. محیط اجرا مدل را به شکل خودکار از روی فایل config.json تشخیص می‌دهد و Drama 3 از رابط خط فرمان و سرور API مشترک با S2-Pro استفاده می‌کند. شرکت‌های SGLang و Radix Ark نیز از همان روز نخست عرضه، پشتیبانی از استنتاج این مدل را فراهم کرده‌اند.
• پلتفرم‌های شخص ثالث و همکار: یکپارچه‌سازی‌های زمان عرضه شامل ComfyUI، Runway، Pika Labs، OpenRouter، Vercel، Creatify، OpenArt و ایجنت Hermes از شرکت Nous Research می‌شود.

نمونه درخواست ساده برای سرویس ابری

curl https://api.fish.audio/v1/tts \
  -H "Authorization: Bearer $FISH_API_KEY" \
  -H "model: drama-3-preview" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "I'm fine. Really. <whisper>Go on without me.</whisper>",
    "reference_id": "f3a2b90078d54a65af4b95f63bc7798e"
  }' --output speech.mp3

هزینه تولید صدا در نسخه ابری ۱۵ دلار به ازای هر ۱ میلیون بایت UTF-8 تعیین شده است. از آنجا که تعرفه بر اساس بایت‌های کدگذاری‌شده محاسبه می‌شود، اسکریپت‌های شامل کاراکترهای غیر لاتین (غیر ASCII مانند فارسی یا چینی) می‌توانند حجم این سهمیه را سریع‌تر از تعداد مشابهی از حروف استاندارد انگلیسی مصرف کنند.

بهترین زمینه‌های کاربرد و محدودیت‌های نسخه پیش‌نمایش

این نسخه پیش‌نمایش با محدودیت‌هایی نیز همراه است که روی برنامه‌ریزی تیم‌های فنی اثر می‌گذارد:

• در برخی کانال‌های عرضه، کلید دسترسی تنها پس از ارسال کامنت و درخواست کاربر اعطا می‌شود.
• استارتاپ Fish Audio هنوز معیارهای دقیق کیفیت، فهرست جامع زبان‌های پشتیبانی‌شده، نیازمندی‌های سخت‌افزاری GPU در محیط پروداکشن یا راهنمای کوانتیزاسیون را منتشر نکرده است.
• هیچ راهنمای رسمی برای مهاجرت اپلیکیشن‌هایی که پیش‌تر بر پایه S2.1 توسعه یافته بودند، در دسترس نیست.
• خروجی‌ها ممکن است بین تولیدهای مختلف اندکی متغیر باشند؛ بنابراین سرویس‌ها احتمالاً نیازمند منطق انتخاب بهترین خروجی یا امکان تلاش مجدد (Retry) خواهند بود.
• اصطلاح وزن‌باز صرفاً به دسترسی به چک‌پوینت اشاره دارد و تیم‌های تجاری حتماً باید مجوز نرم‌افزاری مدل، شرایط استقرار و الزامات حقوقی رضایت صاحبان صدا را بررسی نمایند.

گسترش ابزار‌های کنترلی در دنیای متن‌به‌صوت متن‌باز

جریان‌های کاری سنتی برای ساخت صداهای پر احساس و واقع‌گرایانه معمولاً به ترکیبی دردسرساز از فایل‌های صوتی مرجع، تنظیمات آماده، برچسب‌های SSML، تولیدهای مکرر و برش‌های دستی متکی بودند. مدل Drama 3 بخش چشمگیری از این فرایند را به درون فیلم‌نامه متنی منتقل کرده و هم‌زمان قابلیت‌های پیشرفته‌ای نظیر ترمیم موضعی و اجرای چند گوینده را چه در سرویس‌های ابری و چه در میزبانی اختصاصی در دسترس قرار داده است. ارزش عملی این مدل در پروژه‌های جدی، به دقت اجرای فرامین، کیفیت ادیت‌های صوتی، نرخ تأخیر، مصرف حافظه و حفظ ثبات صدا در پروژه‌های طولانی وابسته خواهد بود.