تبدیل یک عکس به دنیای سه‌بعدی؛ انویدیا مدل هوش مصنوعی Lyra 2.0 را معرفی کرد

آزمایشگاه هوش فضایی انویدیا از سیستم Lyra 2.0 رونمایی کرده است و قصد دارد آن را در کنفرانس SIGGRAPH Asia معرفی کند. این سامانه با دریافت تنها یک عکس، یک دستور متنی اختیاری و مسیر تعیین‌شده برای حرکت دوربین، ویدیویی پیوسته از گشت‌وگذار در محیط تولید می‌کند و سپس فریم‌های آن را در قالب گاوسین اسپلتینگ سه‌بعدی (3D Gaussian Splatting) یا مش‌های سطحی برای رندر آنی و شبیه‌سازی بازسازی می‌نماید.

تیم پژوهشگران این رویکرد را بازسازی زایشی (Generative Reconstruction) نامیده‌اند. در این روش، یک مدل انتشار ویدیویی مبتنی بر WAN-14B نماهای مختلف محیط را متناسب با حرکت دوربین تولید می‌کند و سپس یک شبکه بازسازی پیش‌خور این زاویه‌ها را به اشکال هندسی صریح سه‌بعدی تبدیل می‌سازد. این سازوکار از درک بصری پیشین مدل ویدیویی برای خلق فضاهای دیده‌نشده کمک می‌گیرد و با تکیه بر یک حافظه هندسی، هنگام بازگشت دوربین به نقاط قبلی، یکپارچگی محیط را کاملاً حفظ می‌کند.

چرا مسیرهای طولانی باعث برهم‌خوردن محیط می‌شوند؟

مسیرهای طولانی دوربین دو نقطه ضعف اساسی را در مدل‌های تولید ویدیو نمایان می‌کنند؛ به‌ویژه زمانی که مسیر حرکت شامل تغییرات زاویه‌ای بزرگ باشد یا دوربین به مکانی که پیش‌تر در آن قرار داشته بازگردد. در مدل‌های سنتی، هر بخش جدید تنها به تاریخچه محدودی دسترسی دارد و با طولانی‌تر شدن سکانس، خطاهای جزئی تولید روی هم انباشته می‌شوند.

• فراموشی فضایی: هنگامی که یک موقعیت مکانی از پنجره بافت مدل خارج می‌شود، بازگشت دوباره به آن نقطه ممکن است دیوارهایی متفاوت، مبلمانی دیگر، رنگ‌هایی تغییریافته یا موقعیت‌های جابه‌جاشده‌ای از اشیا را تولید کند.
• انحراف زمانی: خطاهای کوچک در ساختار هندسی و ظاهر صحنه به بخش‌های بعدی منتقل می‌شوند و به‌مرور نمای کلی محیط تولیدشده را دچار اعوجاج و ناپایداری می‌کنند.

حافظه کش سه‌بعدی و حفظ نماهای پیشین در دسترس مدل

مدل Lyra مشکل فراموشی فضایی را با تعبیه یک حافظه کش سه‌بعدی پویا حل کرده است که فریم‌های مرتبط گذشته را دوباره به پنجره توجه مدل بازمی‌گرداند. هر ورودی در این حافظه کش شامل یک نقشه عمق با وضوح کامل، پارامترهای دوربین و یک ابر نقطه ساده‌شده است که از نگاشت پیکسل‌های عمق به مختصات جهانی حاصل می‌شود.

هنگامی که دوربین به موقعیت جدیدی می‌رسد، Lyra ابرهای نقطه ذخیره‌شده را روی صفحه تصویر هدف تصویرسازی می‌کند، انسدادها و موانع دید را در نظر می‌گیرد و میزان دیده‌شدن فریم‌های قبلی را تخمین می‌زند. فریم‌هایی که بیشترین امتیاز رویت‌پذیری را به دست آورند، همراه با انطباق‌های متراکم میان زوایای قدیمی و جدید، به بافت مدل بازمی‌گردند. در واقع، حافظه کش شواهد و داده‌های مرجع را انتخاب می‌کند و مدل ویدیویی ظاهر زاویه دید مقصد را بازآفرینی می‌نماید.

آموزش مبتنی بر انحراف و یاد‌گیری خوداصلاحی در تولید

روش آموزشی تقویت خودکار با تاریخچه، ترنسفورمر انتشار را در معرض نسخه‌های تنزل‌یافته‌ای از خروجی‌های پیشین خود قرار می‌دهد. در نتیجه، مدل به‌جای انتقال خطاهای قبلی به بخش بعدی، یاد می‌گیرد که ناهنجاری‌ها و خطاهای انباشته‌شده را در حین تولید برطرف کند. این شیوه باعث می‌شود تاریخچه‌های خودبازگشتِ ناقص درون توزیع آموزشی قرار گیرند و توانایی اصلاح خطاها به بخشی از مهارت‌های آموخته‌شده مدل تبدیل شود.

مراحل تبدیل یک فریم به یک دارایی سه‌بعدی

حلقه استنتاج Lyra یک تصویر با وضوح ۴۸۰×۸۳۲ پیکسل، یک مسیر ترسیم‌شده برای دوربین در کاوشگر تعاملی سه‌بعدی و یک توصیف متنی اختیاری از صحنه را دریافت می‌کند. انویدیا تولید ۸۱ فریم را برای هر بخش ویدیویی پیشنهاد کرده است.

1. تعیین مسیر: کاربر موقعیت‌های مکانی و جهت دید دوربین را در محیط کاوشگر سه‌بعدی مشخص می‌کند.
2. تولید بخش ویدیویی: مدل مبتنی بر WAN-14B سکانس بعدی فریم‌ها را متناسب با هدایت دوربین می‌سازد.
3. به‌روزرسانی حافظه: عمق تخمینی و پارامترهای دوربین، ابرهای نقطه‌ای را شکل می‌دهند که وارد حافظه کش سه‌بعدی می‌شوند.
4. ادامه پیمایش: نماهای مرتبط قبلی، شرایط تولید بخش‌های بعدی را حتی در صورت بازگشت دوباره به مکان‌های پیشین تنظیم می‌کنند.
5. بازسازی نهایی صحنه: فریم‌های تکمیل‌شده به گاوسین اسپلت‌های سه‌بعدی یا مش‌های چندضلعی تبدیل می‌شوند.

میزان مصرف منابع و زمان پردازش در کارت‌های گرافیک

انویدیا زمان‌های استنتاج زیر را برای هر پردازنده گرافیکی در مراکز داده گزارش کرده است. از آنجا که این ارزیابی‌ها وظایف و واحدهای مختلفی را شامل می‌شوند، مقایسه‌ای مستقیم میان تراشه‌های GB200 و H100 به‌شمار نمی‌روند.

یک آداپتور تقطیر تطبیق توزیع چهار مرحله‌ای که در قالب یک فایل LoRA عرضه شده است، فرآیند نمونه‌برداری مدل انتشار را به تنها چهار مرحله کاهش می‌دهد تا استنتاج با سرعت بسیار بالاتری انجام گیرد. این راهکار، فرآیند طولانی نمونه‌برداری کامل را با یک افزونه سبک جایگزین می‌کند که توسعه‌دهندگان می‌توانند آن را در کنار مدل پایه فراخوانی کنند.

کدها، وزن‌های مدل و مجوز انتشار

انویدیا چارچوب Lyra 2.0 را به‌صورت متن‌باز تحت مجوز Apache 2.0 منتشر کرده و استفاده تجاری از آن را مجاز دانسته است. این پروژه امکان دانلود وزن‌های مدل را فراهم کرده و مخزن گیت‌هاب آن شامل رابط کاربری تعاملی، کدهای آموزشی، خط لوله بازسازی و فایل LoRA برای تقطیر سرعت است. تیم‌های توسعه برای پیاده‌سازی‌های عملیاتی باید مجوزهای مربوط به مدل پایه WAN-14B و سایر پیش‌نیازها را نیز مد نظر قرار دهند.

کاربردهای کلیدی هندسه تولیدشده

صنعت رباتیک یکی از کاربردهای ملموس و اصلی این فناوری است؛ زیرا صحنه‌های خروجی می‌توانند مستقیماً وارد محیط شبیه‌ساز NVIDIA Isaac Sim شوند. در این فرایند، گاوسین اسپلت‌ها جلوه بصری را تأمین می‌کنند و مش‌ها به‌عنوان سطوح برخورد فیزیکی آماده می‌شوند. برای نمونه، تنها یک عکس ساده از یک انبار می‌تواند ظرف چند دقیقه به محیطی مصنوعی برای مسیریابی ربات‌ها تبدیل شود و حجم کار دستی لازم برای ساخت صحنه‌های آموزشی را به حداقل برساند. با این حال، بخش‌های پنهان فضا و ساختار هندسی اشیا حاصل پیش‌بینی هوش مصنوعی هستند و بنابراین دقت این محیط‌ها با اسکن‌های نقشه‌برداری‌شده از تأسیسات واقعی برابری نمی‌کند.

• بازی‌های ویدیویی و واقعیت مجازی: طراحی اولیه مراحل و فضاهای فراگیر بر اساس تصاویر مرجع
• هوش مصنوعی تجسم‌یافته: تولید محیط‌های متنوع برای آموزش ناوبری و الگوریتم‌های رفتاری ربات‌ها
• تصاویر تاریخی: خلق فضاهای باورپذیر و قابل گشت‌وگذار از تصاویری که ثبت زاویه‌های دیگر از آن‌ها غیرممکن است
• سینما و معماری: ساخت پیش‌نمایش صحنه‌ها و ماکت‌های مفهومی قابل ویرایش از روی تصاویر ثابت

محدودیت‌های ناشی از تصویر مرجع

• محدودیت شواهد بصری: یک تک‌عکس تنها اطلاعات محدودی از پیکسل‌های مرئی را در بر دارد؛ بنابراین اتاق‌های پنهان، سطوح ندیده‌شده و پشت اشیا صرفاً بر اساس پیش‌فرض‌ها و تخمین‌های ذهنی مدل تولید می‌شوند.
• دقت هندسی: عمق تخمینی و نماهای ترکیبی، هندسه‌ای تقریبی به دست می‌دهند که با داده‌های مهندسی و نقشه‌برداری دقیق تفاوت دارد.
• خواص فیزیکی: مش خروجی تنها سطوح هندسی را ارائه می‌کند؛ اما تنظیمات مربوط به برخورد فیزیکی، جرم، جنس مواد، مفاصل حرکتی و برچسب‌های معنایی همچنان نیازمند مداخلات مهندسی هستند.
• پاک‌سازی دارایی‌ها: مش‌های تولیدشده ممکن است سطوح ناقص یا توپولوژی نیازمند ترمیمی داشته باشند که باید پیش از استفاده در پروژه‌های نهایی اصلاح شوند.
• نیازهای پردازشی: زمان‌های طولانی تولید و نیاز به کارت‌های گرافیک قدرتمند مانند H100 با حافظه ۸۰ گیگابایت نشان می‌دهد که استفاده زنده از این ابزار هنوز فراتر از توان سخت‌افزارهای دسکتاپ رایج است.

تبدیل دانش مدل‌های ویدیویی به ورودی‌های سه‌بعدی

سیستم Lyra یک مدل ویدیویی از پیش آموزش‌دیده را به منبعی غنی از مشاهدات چندزاویه‌ای تبدیل می‌کند و سپس این مشاهدات را به خط لوله بازسازی سه‌بعدی صریح انتقال می‌دهد. این معماری نوین با بهره‌گیری هوشمندانه از پیش‌آموزش‌های ویدیویی، وابستگی به مجموعه‌داده‌های کمیاب سه‌بعدی را به‌شدت کاهش می‌دهد و خروجی‌هایی خلق می‌کند که مستقیماً در ابزارهای رندر و شبیه‌سازی کنونی قابل استفاده‌اند. در نهایت، ارزش کاربردی این فناوری در دنیای واقعی به میزان تحمل خطای هندسی در هر پروژه و زمان لازم برای اصلاح و پاک‌سازی دارایی‌های خروجی بستگی خواهد داشت.

جزئیات معماری، شیوه‌های آموزش و نتایج ارزیابی این سامانه در مقاله علمی منتشر شده و کدهای پیاده‌سازی آن در قالب کد منبع در دسترس قرار دارد.