مدل Wan-Animate-2 علی‌بابا به ComfyUI اضافه شد؛ جان‌بخشی به تصاویر بدون نیاز به اسکلت‌بندی
تیم توسعه مدل‌های Wan در آزمایشگاه Tongyi متعلق به علی‌بابا، از مدل متن‌باز Wan-Animate-2 رونمایی کرد که امکان متحرک‌سازی تصاویر را بدون نیاز به استخراج اسکلت و نقاط حرکتی فراهم می‌سازد. این ابزار با پشتیبانی بومی در ComfyUI عرضه شده است و با درک هم‌زمان ظاهر و حرکت، جزئیاتی چون حالت چهره و لباس را با دقت بسیار بالا بازآفرینی می‌کند.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- مدل Wan-Animate-2 می‌تواند تنها با دریافت یک تصویر مرجع و یک ویدیوی راهنما، بدون نیاز به استخراج اسکلت‌بندی حرکتی یا پیش‌پردازش‌های پیچیده، کاراکترها را متحرک کند.
- این مدل با ادغام لایه‌های ترنسفورمر در فرایند دیفیوژن، ظاهر چهره، حرکت انگشتان و چین‌وچروک لباس را مستقیماً از روی پیکسل‌ها یاد می‌گیرد و در ComfyUI نیز به‌صورت پیش‌فرض قابل اجرا است.
- قابلیت‌های جدید این سیستم شامل تغییر زاویه دوربین با دستور متنی، تولید پس‌زمینه‌های اختصاصی و هدایت چندین کاراکتر به‌صورت هم‌زمان است.
مدل Wan-Animate-2 که توسط آزمایشگاه Tongyi علی‌بابا توسعه یافته است، می‌تواند یک کاراکتر را تنها با استفاده از یک تصویر مرجع و یک ویدیوی راهنما متحرک کند. فرایند کار با این مدل برای کاربران بسیار ساده است و به هیچ‌گونه استخراج اسکلت حرکتی، نقطه‌گذاری اندام‌ها یا مراحل پیش‌پردازش مجزا نیاز ندارد.
تیم توسعه Comfy-Org با ارائه گره‌های جدید و انتشار الگوهای کاری آماده در مطلب رسمی معرفی در ComfyUI، پشتیبانی بومی از این مدل را فراهم کرده است. وزن‌های بازتنظیم‌شده این مدل تا زمان نگارش این گزارش، بیش از ۸۳۶ هزار بار در پلتفرم Hugging Face دانلود شده‌اند.
جایگزینی نقشه‌های حرکتی با پیکسل‌ها
بسیاری از سیستم‌های پیشین متحرک‌سازی کاراکتر، پیش از تولید خروجی، ویدیوی راهنما را به اسکلت‌بندی OpenPose یا سایر سیگنال‌های کنترلی واسط تبدیل می‌کردند. در جریان این تبدیل، جزئیات مهمی مانند حالات ظریف چهره، وضعیت انگشتان، چین‌وچروک و حرکت لباس از دست می‌رفت و در نتیجه مدل دیفیوژن دیگر توانایی بازآفرینی دقیق آن‌ها را نداشت.
مدل Wan-Animate-2 تصویر مرجع و فریم‌های راهنما را مستقیماً به یک ترنسفورمر دیفیوژن بازطراحی‌شده یا همان DiT ارسال می‌کند؛ ساختاری که ظاهر کاراکتر و نحوه حرکت را به‌صورت هم‌زمان فرا می‌گیرد. این ساختار DiT، لایه‌های ترنسفورمر را درون فرایند دیفیوژن به کار می‌گیرد تا نوفه‌های اولیه را به تدریج به ویدیو تبدیل کند. مشروط‌سازی مستقیم به مدل این امکان را می‌دهد که به تمام نشانه‌های بصری دسترسی داشته باشد؛ جزئیاتی که یک نقشه موقعیت بدنی به‌سادگی آن‌ها را نادیده می‌گرفت.
چهار قابلیت تازه برای کنترل بهتر صحنه
- تغییر زاویه دید با دستور متنی: پرامپت متنی می‌تواند زاویه دوربین خروجی را کاملاً مستقل از ویدیوی راهنما تغییر دهد، بدون آنکه هویت و چهره کاراکتر دچار تغییر شود.
- تولید پس‌زمینه‌های هوش مصنوعی: مدل می‌تواند به‌جای انتقال پس‌زمینه ویدیوی اصلی، محیط و پس‌زمینه کاملاً جدیدی را بر اساس توضیحات متنی خلق کند.
- پشتیبانی از چندین کاراکتر: یک بازیگر در ویدیوی راهنما می‌تواند حرکات چند کاراکتر را هدایت کند؛ هم‌چنین چند بازیگر می‌توانند هم‌زمان کنترل چند کاراکتر مختلف را در یک ویدیو بر عهده بگیرند.
- نسخه سبک Wan-Animate-2-Lite: تیم سازنده این نسخه کم‌حجم‌تر را با تأخیر بسیار پایین، برای آواتارهای دیجیتال و مجریان پخش زنده اینترنتی طراحی کرده است.
برچسب های مرتبط
مطالب مرتبط و پیشنهادی
الگوریتم یاد‌گیری تقویتی SA-MARL هماهنگی پهپادهای زیرسطحی را ۲۲ امتیاز ارتقا داد
پژوهشگران با توسعه الگوریتم یاد‌گیری تقویتی SA-MARL، راهکاری کارآمد برای هدایت گروهی پهپادهای خودران زیرسطحی ابداع کردند. این معماری نوین با غلبه بر محدودیت‌های شدید پهنای باند صوتی زیر آب، عملکرد رهگیری اهداف را ۲۲ امتیاز بهبود می‌بخشد. شناورها در این سیستم با چرخه‌ای متشکل از ادراک، تصمیم‌گیری و اجرا، هماهنگی پایداری را به نمایش می‌گذارند.
هوش مصنوعی وارد کارزار انتخابات آمریکا شد؛ دموکرات‌ها مخالفان نظارت بر فناوری را هدف گرفتند
حزب دموکرات با راه‌اندازی کارزاری ۴ میلیون دلاری، نمایندگان جمهوری‌خواهی را که به لغو نظارت ایالتی بر هوش مصنوعی رأی داده بودند هدف قرار داده است. این اقدام نشان می‌دهد نگرانی رأی‌دهندگان از رشد مهارنشده هوش مصنوعی به یکی از محورهای تعیین‌کننده انتخابات بدل شده است.
استارتاپ Nano-core Chip بیش از یک میلیارد یوآن برای توسعه تراشه‌های استنتاج هوش مصنوعی جذب کرد
استارتاپ چینی Nano-core Chip موفق شد در دور جدید جذب سرمایه، بیش از یک میلیارد یوآن برای تسریع تولید تراشه‌های استنتاج هوش مصنوعی تأمین مالی کند. این شرکت که از معماری RISC-V و رایانش در حافظه بهره می‌برد، قصد دارد نخستین محصولات خود را تا اوایل سال ۲۰۲۷ میلادی روانه بازار کند.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.