رونمایی شیائومی از مدل هوش مصنوعی MiDashengLM-Spatial؛ سیستمی که جهت و موقعیت صدا را می‌فهمد!

تا به امروز اکثر مدل‌های هوش مصنوعی پردازش صدا، دنیا را مانند فردی می‌شنیدند که یک گوش خود را پوشانده است؛ آن‌ها محتوای صحبت‌ها یا موسیقی را با دقت تشخیص می‌دادند، اما کوچک‌ترین درکی از اینکه صدا از کدام سمت اتاق می‌آید یا گوینده چقدر با میکروفون فاصله دارد، نداشتند. حالا شیائومی با معرفی و متن‌باز کردن مدل جدیدی به نام MiDashengLM-Spatial تصمیم گرفته این چالش بزرگ را حل کند و گوش‌های سه‌بعدی را به مدل‌های زبانی هدیه دهد.

وقتی هوش مصنوعی به گوش‌های سه‌بعدی مجهز می‌شود

مدل MiDashengLM-Spatial در واقع یک مدل زبان-صوتی چندوجهی (LALM) است که بر پایه معماری ۸ میلیارد پارامتری توسعه یافته است. برگ برنده اصلی این سیستم، مجهز شدن به یک انکودر صوتی اختصاصی به نام Spatial-Dasheng است. این ساختار دوشاخه‌ای به مدل امکان می‌دهد سیگنال‌های چندکاناله (مانند صدای استریو یا باینورال) را پردازش کند و داده‌های مکانی مانند زاویه، فاصله، سرعت حرکت و جهت منبع صدا را با معنای صوتی ترکیب نماید؛ آن هم بدون اینکه قدرت درک معنایی گفتار در مقایسه با مدل‌های تک‌کاناله دچار افت شود.

از خانه هوشمند تا مدیریت هوشمندانه کابین خودروهای برقی

تشخیص موقعیت مکانی صدا فقط یک دستاورد آزمایشگاهی نیست، بلکه کاربردهای هیجان‌انگیزی در دنیای واقعی دارد. تصور کنید در خودروهای برقی مدرن شیائومی، دستیار هوشمند خودرو دقیقاً متوجه شود دستور صوتی توسط راننده صادر شده یا مسافر صندلی عقب، و بر همان اساس تنظیمات صوتی یا تهویه همان نقطه را تغییر دهد. در محیط خانه هوشمند نیز این سیستم می‌تواند محل گریه نوزاد، صدای افتادن اشیا یا زنگ خطر را در نقشه سه‌بعدی خانه ردیابی کند و واکنش هوشمندانه‌تری نشان دهد.

انتشار کاملاً رایگان برای جامعه متن‌باز

شیائومی برخلاف بسیاری از رقبای تجاری، تمام وزن‌ها، کدهای استنتاج و خط لوله سنتز داده‌های آموزشی این سیستم را تحت مجوز کاملاً آزاد و تجاری Apache 2.0 عرضه کرده است. اکنون توسعه‌دهندگان و پژوهشگران می‌توانند از طریق مخزن گیت‌هاب MiDashengLM-Spatial و همچنین صفحه اختصاصی مدل در هاگینگ‌فیس (Hugging Face) به این فناوری دسترسی داشته باشند و جزئیات فنی آن را در مقاله پژوهشی منتشره در arXiv مطالعه کنند.