معرفی ابزار هوش مصنوعی Luel برای جداسازی صدای افراد در مکالمات گروهی و پادکست‌ها

معرفی

ابزار Luel Multi-Speaker Separation محصول جدید شرکت Luel برای جداسازی صدای چند گوینده است که یک فایل صوتی ضبط‌شده از مکالمه را دریافت می‌کند و برای هر شخص یک کانال صوتی (Track) تمیز و مجزا تحویل می‌دهد. جزئیات این محصول در وبلاگ رسمی Luel منتشر شده است و در حال حاضر در مرحله بتای خصوصی (Closed Beta) قرار دارد.

انگیزه اصلی ساخت این ابزار، حل یک چالش همیشگی است: پادکست‌ها، جلسات، مصاحبه‌ها و تماس‌های تلفنی تقریباً همیشه در قالب یک فایل صوتی واحد و ترکیب‌شده ضبط می‌شوند؛ به‌طوری که شما فقط می‌توانید صدای کل فایل را کم یا زیاد کنید، اما نمی‌توانید صدای یک گوینده خاص را از دل آن بیرون بکشید. این محصول صدای هر فرد را از اولین تا آخرین کلمه در یک فایل صوتی اختصاصی جدا می‌کند.

ویژگی‌های برجسته این ابزار عبارت‌اند از:

• آموزش‌دیده روی مکالمات واقعی حاصل از شبکه مشارکت‌کنندگان Luel (شامل مکث‌ها، خنده‌ها، تغییر سرعت صحبت کردن و فاصله‌های متفاوت از میکروفون)، نه صرفاً کلیپ‌های صوتی کوتاه و استودیویی
• بر اساس گزارش Luel در آزمایش روی تماس‌های واقعی که در داده‌های آموزشی نبوده‌اند، هر فرد کانال صوتی اختصاصی خود را دریافت کرده، صدای هیچ‌کس با دیگری جابه‌جا نشده و حدود ۹۹.۳ درصد از صحبت‌های تک‌نفره در کانال درست قرار گرفته است
• نیاز سخت‌افزاری سبک: پردازش تقریباً درلحظه (Real-time) روی پردازنده‌های گرافیکی ابری معمولی؛ پشتیبانی از مکالمات ۲ تا ۴ نفره، فایل‌های صوتی تا حدود ۹۰ دقیقه با نرخ نمونه‌برداری تا ۴۸ کیلوهرتز و تحویل خروجی با همان کیفیت فایل ورودی
• ارائه جدول زمانی (Timeline) دقیق از اینکه چه کسی در چه زمانی صحبت می‌کند؛ ضمن اینکه صداهای غیرکلامی (مانند خنده یا سرفه) می‌توانند در یک فایل جداگانه قرار بگیرند
• بالاترین عملکرد زمانی است که افراد به نوبت صحبت می‌کنند؛ پشتیبانی بهتر از هم‌خوانی و صحبت هم‌زمان، میکروفون‌های مشترک در یک اتاق و زبان‌های بیشتر در نقشه راه آینده قرار دارند و اکثر آزمایش‌ها تاکنون روی زبان انگلیسی انجام شده است.

توضیحات فنی و کاربردی

مشکل موجود چیست؟

فایل‌های صوتی ترکیب‌شده از مکالمات را به‌سختی می‌توان به تفکیک هر گوینده ویرایش کرد، به متن تمیز برگرداند، دوبله نمود یا به داده‌های آموزشی مجزا برای مدل‌های هوش مصنوعی تبدیل کرد. جداسازی کانال‌های صوتی، امکان ویرایش اختصاصی هر فرد، پیاده‌سازی دقیق متن، دوبله، مطالعه الگوی نوبت‌گیری در گفتگو و استخراج پیکره‌های صوتی کاربردی از مکالمات طولانی و واقعی را فراهم می‌سازد.

طراحی و محدودیت‌ها

• تمرکز اصلی روی یکپارچگی در کل فایل ضبط‌شده است: صدای یک فرد مشخص در تمام طول یک ساعت مکالمه در همان کانال صوتی ثابت باقی می‌ماند و این ثبات فقط محدود به بازه‌های زمانی کوتاه نیست
• معیارهای عملکردی اعلام‌شده حاصل آزمایش‌های داخلی Luel روی تماس‌های واقعی است که جدول کامل نتایج آن در صفحه مدل قابل مشاهده است
• محدودیت: در برخی تماس‌ها (به گفته Luel در حدود یک مورد از هر چهار تماس طولانی دونفره)، ممکن است یک کانال صوتی اضافی شامل صدای پس‌زمینه یا تکه‌های کوتاه گفتار ایجاد شود؛ بنابراین پیش از اتکای کامل به خروجی، باید فایل‌ها را بررسی کنید
• این ابزار در مرحله بتای خصوصی قرار دارد و دسترسی به آن با ثبت درخواست امکان‌پذیر است.

ارتباط با محصول Luel Speech

هر دو محصول متعلق به یک شرکت هستند، اما کاربرد متفاوتی دارند: مدل Luel Speech یک سیستم تبدیل متن به گفتار (TTS) برای زبان‌های کم‌منبع است، درحالی‌که محصول جدید روی جداسازی منابع صوتی در مکالمات تمرکز دارد.

نحوه استفاده و مخاطبان

این ابزار مناسب چه کسانی است؟

• تیم‌های تدوین و پس‌تولید پادکست و جلسات، پالایش صدای مصاحبه‌ها و کنترل کیفیت تماس‌ها
• تیم‌های فعال در زمینه تشخیص خودکار گفتار (ASR) و داده‌های صوتی که به فایل‌های صوتی تفکیک‌شده به ازای هر گوینده نیاز دارند.

شروع کار

1. مقاله منتشرشده در وبلاگ رسمی Luel و نتایج صفحه مدل را مطالعه کنید
2. درخواست دسترسی به نسخه بتای خصوصی را ثبت کنید و مشخصات فایل‌های صوتی خود (تعداد گویندگان، مدت‌زمان و زبان) را شرح دهید
3. فایل‌های صوتی ۲ تا ۴ نفره تا سقف ۹۰ دقیقه را ارسال کنید؛ تمام کانال‌های صوتی بازگشتی را گوش دهید و مراقب فایل‌های اضافی احتمالی باشید
4. کانال‌های صوتی مجزا را همراه با یک بررسی انسانی برای شناسایی فایل‌های غیرعادی، وارد چرخه‌های ویرایش، تشخیص گفتار یا آماده‌سازی داده کنید.