انتشار مجموعه‌داده ۱۰۰۰ ساعته Open Yap 1K؛ آموزش هوش مصنوعی برای مکالمه طبیعی و هم‌زمان با انسان

معرفی مجموعه‌داده Open Yap 1K

مجموعه‌داده Open Yap 1K یک مجموعه‌داده صوتی تخصصی است که توسط شرکت The Agentic Data Company منتشر شده و در اواخر اکتبر ۲۰۲۶ در پلتفرم Hugging Face توجه زیادی را به خود جلب کرده است. این مجموعه شامل ۱۰۰۰ ساعت گفتگوی دونفره (دوکاناله) به زبان انگلیسی با نرخ نمونهبرداری ۴۸ کیلوهرتز است و به‌طور ویژه برای آموزش مدل‌های صوتی دوطرفه هم‌زمان (Full-Duplex) طراحی شده است؛ به این معنا که مدل می‌تواند درست همانند یک انسان در تماس تلفنی، به‌صورت هم‌زمان هم گوش دهد و هم صحبت کند.

یک نمونه رایگان ۸٫۹۲ ساعته (شامل ۱۶ مکالمه تحت مجوز CC-BY-4.0) در هاب پلتفرم Hugging Face در دسترس قرار گرفته است و کل مجموعه ۱۰۰۰ ساعته نیز برای استفاده‌های تجاری، با ارسال درخواست و پذیرش توافقنامه استفاده از داده‌های Open Yap 1K بهرایگان ارائه می‌شود.

ویژگی‌های کلیدی

• گویندگان طبیعی و آشنا با یکدیگر: تیم سازنده به‌جای جفت کردن افراد غریبه و تعیین موضوعات فرمایشی (رویکردی که در مجموعه‌دادههای قدیمیتر مانند Fisher یا Switchboard دیده میشد)، یک اپلیکیشن تماس شبیه به واتساپ توسعه دادند که افراد برای تماس‌های واقعی و روزمره خود با دوستان و اعضای خانواده از آن استفاده کردند. در نتیجه، این مکالمات سرشار از وقایع طبیعی مانند پریدن میان صحبت یکدیگر، همپوشانی صداها، خنده، علائم شنیداری تأیید و مکث‌های بسیار کوتاه میان نوبت‌های صحبت است.
• صدای باکیفیت با پهنای باند بالا: ضبط فایل‌ها با نرخ نمونهبرداری ۴۸ کیلوهرتز انجام شده است؛ درحالیکه مجموعه‌دادههای قدیمیتر نظیر Fisher معمولاً صدا را با پهنای باند تلفنی و کیفیت حدود ۸ کیلوهرتز ضبط میکردند.
• کانال‌های صوتی مجزا: صدای هر گوینده در یک کانال اختصاصی و مستقل ثبت شده است؛ ویژگی بنیادینی که مدل‌های صوتی هم‌زمان و سامانه‌های تشخیص نوبت صحبت برای تفکیک صداها به آن نیاز قطعی دارند.
• محیط‌های واقعی و خانگی: مکالمات روی دستگاه‌های شخصی افراد و در شرایط واقعی زندگی ضبط شده‌اند و فایل‌های بیکیفیت نیز از طریق یک خط لوله غربالگری مبتنی بر یاد‌گیری ماشین پالایش و حذف شده‌اند.
• فراداده‌های دقیق برای هر مکالمه: هر گفتوگو دارای شناسنامه اطلاعاتی دقیقی شامل موضوع صحبت، نوع رابطه افراد، مدتزمان تماس، تعداد دفعات جابجایی نوبت در دقیقه، فاصله زمانی تعویض نوبت و میزان تسلط هر گوینده بر گفتار است.

چرا این مجموعه‌داده اهمیت دارد؟

ایجنت‌های صوتی که صرفاً بر اساس گفتگوهای کتابی، اتوکشیده و نوبتی آموزش می‌بینند، بهمحض اینکه یک کاربر واقعی کلام آنها را قطع می‌کند یا هم‌زمان با آنها سخن می‌گوید، دچار اختلال می‌شوند. مجموعه‌داده Open Yap 1K برای رفع ریش‌های همین چالش طراحی شده است و جایگزینی مدرن و کارآمد برای مجموعه‌های معروفی هم‌چون Fisher، Switchboard و CANDOR به‌شمار می‌رود.

نحوه دسترسی و استفاده

1. بررسی و شنیدن نمونه‌های صوتی در نمایشگر مجموعه‌داده Hugging Face.
2. بارگذاری نمونه‌ها در زبان برنامه‌نویسی پایتون:

from datasets import load_dataset
ds = load_dataset("TheAgenticDataCompany/open-yap-1k", "audio_previews", split="Sample")
print(ds[0]["topics"], ds[0]["turns_per_minute"])

1. جهت دریافت دسترسی به کل مجموعه ۱۰۰۰ ساعته، درخواست خود را در صفحه رسمی The Agentic Data Company ثبت کرده و توافقنامه استفاده از داده را تأیید کنید.

کاربردهای اصلی و پیشنهادی

• آموزش و بهینه‌سازی مدل‌های صوت به صوت دوطرفه هم‌زمان (Full-Duplex) و دستیاران صوتی تعاملی.
• پژوهش روی الگوریتم‌های تشخیص نوبت صحبت، تحلیل قطع کلام و پیش‌بینی واکنش‌های شنیداری حین مکالمه.
• ارزیابی و سنجش عملکرد مدل‌های تبدیل گفتار به متن (ASR) و تبدیل متن به گفتار (TTS) روی مکالمات طبیعی دارای همپوشانی صدا.

شرایط استفاده و بازنشر

نمونه اولیه این مجموعه‌داده تحت مجوز متن‌باز CC-BY-4.0 عرضه شده است، اما کل مجموعه ۱۰۰۰ ساعته تابع شرایط توافقنامه اختصاصی خود است؛ از این رو پیش از هرگونه بازنشر یا استفاده گسترده، مفاد این توافقنامه را به‌دقت بررسی کنید.