انویدیا ابزار متن‌باز Open-H3-Regenerate-2K را برای افزایش کیفیت ویدیوهای هوش مصنوعی تا وضوح 4K معرفی کرد

مقدمه

ابزار Open-H3-Regenerate-2K بسته نرم‌افزاری متن‌باز انویدیا برای ارتقا و بهبود کیفیت ویدیو در پیش‌نویس‌های مدل MiniMax H3 است که در پلتفرم Hugging Face و زیرمجموعه Efficient-Large-Model منتشر شده است. این ابزار به‌عنوان جایگزینی متن‌باز برای سرویس اختصاصی H3-Regenerate-2K از شرکت MiniMax عمل می‌کند؛ بدین ترتیب که پیش‌نویس‌های اولیه با وضوح پایین رمزگذاری می‌شوند، ابعاد آن‌ها در فضای نهان افزایش می‌یابد و سپس با ۳ گام پردازش انتشار در H3، کیفیت نهایی به وضوح‌های 768P، 1080P، 2K یا 4K می‌رسد.

مخزن مدل: Efficient-Large-Model/Open-H3-Regenerate-2K · صفحه پروژه: nvlabs.github.io/Sana/Open-H3-Regenerate-2K

توضیحات تکمیلی

نکات کلیدی

1. مدل متن‌باز اختصاصی: این ابزار یک به‌روزرسانی ساده از سوی MiniMax نیست، بلکه مجموعه‌ای شامل LoRA اختصاصی آموزش‌دیده توسط انویدیا، ارتقادهنده ابعاد در فضای نهان و رمزگشای اختیاری و پرسرعت H3 VAE است.
2. خط پردازش داده‌ها: جریان کاری شامل تبدیل پیش‌نویس اولیه با H3 VAE، ارتقای ابعاد نهان سه‌بعدی، نویزگذاری مجدد، اجرای سه گام الگوریتم اویلر به‌همراه LoRA تلفیقی و در نهایت رمزگشایی با نسخه استاندارد یا ماژول سریع StreamRender-H3 است.
3. سرعت پردازش: بر اساس آمارهای اعلام‌شده، بازسازی یک ویدیوی ۵ ثانیه‌ای با وضوح 2K روی یک پردازنده B200 با استفاده از Sol-Engine و VAE سریع، حدود ۲۲٫۴۵ ثانیه زمان می‌برد.
4. اکوسیستم نرم‌افزاری: افزونه‌های سفارشی متعددی برای محیط ComfyUI تنها ظرف چند روز منتشر شدند و تولیدکنندگان محتوا در حال مقایسه عملکرد این ابزار متن‌باز با سرویس اختصاصی MiniMax هستند.
5. شرایط مجوز استفاده: بخش‌های مختلف این ابزار پیرو شرایط استفاده مجوز اجتماعی MiniMax H3 و مجوزهای شخص ثالث LoRA هستند و کل پکیج تحت یک مجوز متن‌باز یکدست ارائه نشده است.

چرا این موضوع اهمیت دارد؟

تولیدکنندگانی که به دنبال یک مسیر آزاد و متن‌باز برای بازسازی ویدیوها در وضوح 2K با مدل H3 هستند، دقیقاً از این ابزار استفاده خواهند کرد؛ راهکاری که رویکرد متفاوتی نسبت به پروژه‌هایی مانند FastH3 Omni یا Pika H3 Flex دارد.

نحوه استفاده

روش آزمایش و پیاده‌سازی

1. وزن‌های مدل را از مخزن Hugging Face دانلود کنید (شامل LoRA، شاخه‌های sharp، ارتقادهنده فضای نهان و VAE اختیاری سریع).
2. دستورالعمل صفحه اختصاصی NVLabs یا افزونه‌های پشتیبانی‌شده ComfyUI را دنبال کرده و یک پیش‌نویس با وضوح ۳۸۴P تا ۷۶۸P را به‌عنوان ورودی به مدل بدهید.
3. خروجی‌های 2K و 4K را با نتایج رابط اختصاصی MiniMax روی همان پیش‌نویس مقایسه کنید؛ به میزان حافظه کارت گرافیک و محدودیت‌های جغرافیایی مجوز نیز توجه داشته باشید.

ورودی‌ها و شروط مرجع را بسیار دقیق تنظیم کنید، زیرا بازخوردهای کاربران نشان می‌دهد در صورت ضعیف بودن اطلاعات مرجع، مدل جزئیات ساختگی و نامربوط تولید می‌کند.