آزمایشگاه Kyutai از CADRE رونمایی کرد؛ اتوانکودر ویدیویی متن‌باز برای ساخت مدل‌های جهان تعاملی

معرفی

مدل CADRE (مخفف اتوانکودرهای بازنمایی انتشاری علیتی یا CAusal Diffusion REpresentation autoencoders) مجموعه‌ای از اتوانکودرهای ویدیویی متن‌باز برای ساخت مدل‌های جهان ویدیویی تعاملی است که آزمایشگاه تحقیقاتی Kyutai در ۲۲ اکتبر ۲۰۲۶ منتشر کرد.

آزمایشگاه Kyutai هم‌زمان با معرفی این فناوری، مقاله علمی آن با عنوان «بازنگری در اتوانکودرهای ویدیویی برای مدل‌های جهان تعاملی» (با شناسه arXiv 2610.30129)، کدهای منبع، وزن‌های مدل و یک نسخه نمایشی زنده را در دسترس عموم قرار داده است.

بررسی فنی

چرا CADRE توسعه یافت؟

مدل‌های جهان ویدیویی، فریم‌های بعدی محیط را بر اساس فریم‌های پیشین و اقدامات عامل هوشمند پیش‌بینی می‌کنند و فرآیند تولید تصویر را در فضای نهان (Latent Space) یک اتوانکودر ویدیویی به پیش می‌برند. در حال حاضر بسیاری از پژوهشگران از اتوانکودرهای طراحی‌شده برای مدل‌های تبدیل متن به ویدیو استفاده می‌کنند؛ ابزارهایی که برای تولید آفلاین ویدیو کلیپ طراحی شده‌اند (جایی که عاملی منتظر واکنش لحظه‌ای نیست) و بازآموزی آن‌ها با نرخ فشرده‌سازی دلخواه دشوار است. معماری CADRE با هدف ارزیابی دقیق چگونگی، مکان و میزان بهینه فشرده‌سازی ویدیو برای مدل‌های جهان ساخته شده است.

معماری مدل

• انکودر (Encoder): بهره‌گیری از ویژگی‌های ثابت و منجمد مدل DINOv3 ViT-B/16 (با میانگین‌گیری میان لایه‌ها)
• گلوگاه (Bottleneck): یک کانولوشن گام‌دار آموزش‌دیده و سبک که میزان فشرده‌سازی زمانی و مکانی را تنظیم می‌کند
• دی‌کودر (Decoder): یک دی‌کودر انتشاری ترنسفورمری فضا و زمان (مبتنی بر تطبیق جریان یا Flow-matching) که با روش تقطیر خودکار به ۱ تا ۲ مرحله استنتاج کاهش یافته و از نظر زمانی رویکردی علیتی دارد
• شامل حدود ۴۷۵ میلیون پارامتر آموزش‌دیده به‌همراه ۸۶ میلیون پارامتر ثابت برگرفته از DINOv3

یافته‌های کلیدی پژوهشگران

• مدل‌های جهانی که روی فضای نهان CADRE آموزش دیده‌اند، به‌صورت بلادرنگ با سرعت ۲۰ فریم بر ثانیه روی یک کارت H100 اجرا می‌شوند و در کارهایی چون دست‌کاری رباتیک، رانندگی و مسیریابی در محیط‌های بسته، در زمان کمتر از ۲۳۰ میلی‌ثانیه به فرامین پاسخ می‌دهند.
• مدل CADRE بالاترین بهره‌وری را در مرز میان سرعت پاسخ‌دهی و کیفیت تصویر ارائه می‌کند.
• در نسبت‌های فشرده‌سازی شدید، دی‌کودر انتشاری جزئیاتی به مراتب شفاف‌تر نسبت به روش‌های رگرسیون ادراکی ثبت می‌کند؛ همچنین در سناریوهای دست‌کاری با زاویه دید ثابت فشرده‌سازی زمانی ارجحیت دارد، در حالی که در ناوبری و محیط‌های متحرک فشرده‌سازی مکانی کارآمدتر است.

راهنمای استفاده

چگونه از CADRE استفاده کنیم؟

• کدهای منبع: مخزن گیت‌هاب با آدرس kyutai-labs/cadre-autoencoders-and-world-models
• وزن‌های مدل: مجموعه kyutai/cadre-* در پایگاه Hugging Face (شامل ۷ اتوانکودر معرفی‌شده در مقاله، ۴ نسخه چندوضوحی، مدل‌های جهان برای ۴ محیط مختلف و پروب‌های تحلیل عملکرد)
• مدل پیشنهادی: مدل kyutai/cadre-2x16x16-multires برای بازسازی تصویر و آموزش مدل‌های جهان جدید پیشنهاد شده است؛ همچنین مدل‌های جهان منتشرشده با kyutai/cadre-2x16x16 همگام هستند.

from model_autoencoder import CADRE
autoencoder = CADRE.from_pretrained(\"kyutai/cadre-2x16x16\")
video_hat = autoencoder.decode(autoencoder.encode(autoencoder.preprocess(video)), decode_steps=1)

این مدل برای چه کسانی کاربرد دارد؟

• پژوهشگرانی که در حوزه مدل‌های جهان ویدیویی، ارزیابی راهبردهای رباتیک و شبیه‌سازی بلادرنگ یا تولید بازی‌های تعاملی فعالیت می‌کنند.
• توسعه‌دهندگانی که برای پروژه‌های هوش مصنوعی خود به یک فضای نهان ویدیویی بسیار سریع با کمترین تأخیر نیاز دارند.

جزئیات تکمیلی در وبلاگ رسمی Kyutai به نشانی kyutai.org/blog/2026-10-22-cadre/ در دسترس است.