کنترل دقیق‌تر ساخت موسیقی با هوش مصنوعی؛ به‌روزرسانی بزرگ کتابخانه AudioCraft متا با دو مدل جدید
تیم تحقیقات هوش مصنوعی متا با افزودن دو مدل قدرتمند JASCO و MusicGen-Style، کتابخانه محبوب AudioCraft را به سطح تازه‌ای از ساخت دقیق موسیقی رساند. با این به‌روزرسانی، توسعه‌دهندگان و آهنگسازان حالا می‌توانند علاوه بر سبک و سازها، جزئیات زمانی، آکوردها و ریتم ترک‌های صوتی را با دقت بالایی هدایت کنند.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- تیم هوش مصنوعی متا (FAIR) کتابخانه متن‌باز AudioCraft را به یک پشته همه‌فن‌حریف بر پایه PyTorch تبدیل کرده که از تولید موزیک و صدا تا فشرده‌سازی عصبی را پوشش می‌دهد.
- مدل‌های جدید JASCO و MusicGen-Style کنترل زمانی و سبکی را به این جعبه‌ابزار اضافه کرده‌اند؛ یعنی می‌توانید با آکوردهای زمان‌بندی‌شده، لاین درام و یک قطعه صوتی مرجع، موزیک دلخواهتان را با دقتی بالا بسازید.
- این پروژه هشت مؤلفه تخصصی را در یک کدبیس مشترک گرد هم آورده تا توسعه‌دهندگان به سادگی بتوانند مدل‌ها را با هم مقایسه کرده و وزن‌های سازگار آموزش دهند.
کنترل خط زمانی و سبک با قابلیت‌های جدید AudioCraft
تیم تحقیقات بنیادین هوش مصنوعی متا (FAIR) مخزن AudioCraft را به یک پشته جامع مبتنی بر پای‌تورچ (PyTorch) برای تولید موسیقی، افکت‌های صوتی، فشرده‌سازی عصبی صدا، دی‌کودینگ نفوذی (Diffusion) و واترمارک‌گذاری تبدیل کرده است. مدل‌های تازه‌نفس این مجموعه، یعنی JASCO و MusicGen-Style، امکان کنترل موسیقی روی خط زمانی (تایم‌لاین) و اعمال سبک بر اساس یک فایل صوتی مرجع را به این جعبه‌ابزار اضافه کرده‌اند.
توسعه‌دهندگان حالا می‌توانند از یک زیرساخت مشترک برای پردازش صدا، پیکربندی، آموزش و استنتاج در چندین معماری مختلف تولید صدا استفاده کنند. این بستر یکپارچه دردسرهای مقایسه مدل‌ها، توسعه روش‌های جدید شرطی‌سازی یا آموزش وزن‌های سازگار را به حداقل می‌رساند و کار را برای پژوهشگران فوق‌العاده راحت می‌کند.
هشت مؤلفه کاربردی در یک کدبیس یکپارچه
این مخزن هشت ابزار و مؤلفه اصلی را پیرامون ابزار‌های مشترک پای‌تورچ و انکودک (EnCodec) گرد هم آورده است:
مؤلفه | هدف و کاربرد | جزئیات کلیدی |
|---|---|---|
MusicGen | تولید موسیقی از متن (Text-to-Music) | ترنسفورمر اتورگرسیو در سه اندازه ۳۰۰ میلیون، ۱.۵ میلیارد و ۳.۳ میلیارد پارامتر |
AudioGen | تولید صدا از متن (Text-to-Sound) | تولید افکت‌های صوتی و صداهای محیطی طبیعی |
EnCodec | فشرده‌سازی عصبی صدا | تبدیل شکل‌موج‌های صوتی (Waveforms) به توکن‌های فشرده برای استفاده در مدل‌های تولیدی |
Multi Band Diffusion | رمزگشایی صدا (Audio Decoding) | استفاده از مدل‌های نفوذی (Diffusion) برای رمزگشایی نمایش‌های صوتی EnCodec |
MAGNeT | تولید موسیقی و صدا | استفاده از مدل‌سازی پوشانده غیراتورگرسیو برای تولید هم‌زمان چندین توکن به صورت موازی |
AudioSeal | واترمارک‌گذاری روی فایل‌های صوتی | جاسازی و تشخیص سریع واترمارک‌های مکانی در صدای تولیدشده |
MusicGen-Style | تولید موسیقی با ترکیب متن و استایل | هدایت روند تولید موسیقی با استفاده از پرامپت متنی و یک کلیپ صوتی مرجع کوتاه |
JASCO | تولید موسیقی با کنترل دقیق ساختار | پشتیبانی از پرامپت متنی همراه با آکوردهای زمان‌بندی‌شده، ترک‌های درام و خط ملودی |
کنترل میلی‌متری موسیقی روی خط زمانی با مدل JASCO
مدل JASCO طوری طراحی شده که علاوه بر توصیف کلی متن (پرامپت اصلی)، شروط محلی هماهنگ با زمان را هم دریافت می‌کند. به زبان ساده، می‌توانید در پرامپت کلی سازبندی یا حس‌وحال موزیک را مشخص کنید و هم‌زمان با مشخص کردن آکوردها، ریتم درام و ملودی در ثانیه‌های خاصی از قطعه، ساختار موسیقی را دقیقاً بچینید. این معماری نه‌تنها دست آهنگسازان را برای تنظیم دقیق باز می‌گذارد، بلکه امکان آزمایش و سنجش پایبندی هوش مصنوعی به دستورات معنایی و زمانی را فراهم می‌کند.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
عطش غول‌های هوش مصنوعی برای برق؛ انرژی زمین‌گرمایی چطور سوگلی جدید سیاستمداران و شرکت‌های فناوری شد؟
عطش دیتاسنترهای هوش مصنوعی برای تأمین برق پایدار و شبانه‌روزی، جان تازه‌ای به صنعت انرژی زمین‌گرمایی دمیده است. این منبع پاک اکنون به نقطه توافقی کم‌سابقه میان دموکرات‌ها و جمهوری‌خواهان در واشنگتن تبدیل شده و غول‌های فناوری حاضرند برای دسترسی به آن مبالغ سنگینی پرداخت کنند.
چالش بزرگ شرکت‌ها با هوش مصنوعی؛ ابزار‌ها آماده‌اند، اما نیروی متخصص کجاست؟
سازمان‌ها برای عقب نماندن از رقابت با شتاب به سمت ابزار‌های هوش مصنوعی هجوم آورده‌اند، اما بزرگ‌ترین مانع آنها نه کمبود نرمافزار، بلکه بحران نیروی انسانی ماهر است. با همه‌گیر شدن مدل‌های زبانی، خروجی‌های هوش مصنوعی رو به یکنواختی رفته‌اند و تنها با تفکر انتقادی، قضاوت انسانی و مهارت‌های تخصصی می‌توان از این فناوری یک مزیت رقابتی ساخت.
اپل: سیری نیازی به شکست ChatGPT ندارد؛ استراتژی متفاوت کوپرتینو در میدان هوش مصنوعی
در حالی که غول‌های فناوری میلیاردها دلار صرف ساخت باهوش‌ترین چت‌بات‌های دنیا می‌کنند، اپل مسیر کاملاً متفاوتی را در پیش گرفته است. مدیرعامل این شرکت معتقد است سیری اصلاً نیازی به شکست دادن ChatGPT در مسابقه هوش ندارد، بلکه برگ برنده اصلی در اطلاعات شخصی نهفته روی آیفون شماست.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.