فناوری 3D Gaussian Splatting رندر لحظه‌ای زوایای دوربین را در بازیهای ابری ممکن کرد
پژوهشگران راهکار نوآورانه‌ای ابداع کرده‌اند که به‌جای ارسال فریم‌های ویدئویی سنگین در بازیهای ابری، داده‌های سه‌بعدی را با روش 3D Gaussian Splatting به کلاینت منتقل می‌کند. در این شیوه، زاویه دید و حرکات دوربین به‌شکل لحظه‌ای و محلی روی دستگاه کاربر رندر می‌شوند تا تأخیر تصویر به حداقل برسد.
در یک نگاه (نکات کلیدی خبر)
خلاصه مهم‌ترین نکات و تحولات این گزارش برای مطالعه سریع
- این پیش‌نمونه به‌جای پخش فریم‌های ویدئویی آماده، یک مدل تعاملی از صحنه بازی را با تکنیک 3D Gaussian Splatting به دستگاه کاربر ارسال می‌کند.
- کاربران می‌توانند سر و زاویه دوربین را بدون نیاز به انتظار برای پاسخ سرور و بروز تأخیر، به‌صورت کاملاً روان جابه‌جا کنند.
- تولید داده‌های هندسی بر عهده موتور Unity قرار دارد و یک افزونه تخصصی C++ عملیات پردازش و بهینه‌سازی پارامترهای تصویری را مدیریت می‌کند.
تیم پژوهشگران در مقاله پژوهشی خود در arXiv از یک پیش‌نمونه نوآورانه برای رندر ابری رونمایی کرده‌اند که صحنه‌های زنده موتور بازی Unity را به‌طور پیوسته به مدلی مبتنی بر تکنیک 3D Gaussian Splatting تبدیل می‌کند. در این معماری، سرور به‌روزرسانی‌های مدل سه‌بعدی را از طریق بستر شبکه ارسال می‌کند و سپس دستگاه کلاینت زاویه دید دوربین را مستقلاً رندر می‌نماید. بدین ترتیب پس از دریافت اطلاعات صحنه، چرخش سر و تغییر زاویه دوربین بدون نیاز به ارسال درخواست مجدد به سرور اعمال می‌شود، هرچند اعمال تغییرات درون صحنه و مشاهده بخش‌های تازه محیط بازی همچنان به دریافت بسته‌های جدید از شبکه وابسته خواهد بود.
چرا استریم فریم‌های ویدئویی پاسخگوی حرکات دوربین نیست؟
سرویس‌های بازی ابری و پلتفرم‌های واقعیت گسترده (XR) معمولاً تصویر بازی را بر اساس زاویه دید مشخص‌شده در سرور رندر کرده و خروجی فریم‌های دوبعدی را به‌شکل ویدئو فشرده‌سازی می‌کنند. هرچند کدک‌های ویدئویی این فریم‌ها را با بازدهی بالایی فشرده می‌سازند، اما هر تصویر دیکودشده همچنان به زاویه قبلی دوربین وابسته می‌ماند. اگرچه دستگاه‌های کاربر می‌توانند آخرین فریم دریافتی را برای جبران تأخیر شبکه بازپخش یا بازتولید کنند، اما هنگام چرخش‌های سریع، آشکار شدن نقاط پنهان صحنه، خطاهای عمق و تغییرات نورپردازی، کیفیت تصویر با افت محسوسی روبه‌رو می‌شود.
تکنیک 3D Gaussian Splatting که به‌اختصار 3DGS نامیده می‌شود، هر صحنه را در قالب مجموعه‌ای از بیضی‌گون‌های سه‌بعدی با پارامترهای مشخصی نظیر موقعیت، مقیاس، چرخش، شفافیت و رنگ نمایش می‌دهد. در این روش، پردازنده گرافیکی (GPU) این گوسی‌ها را روی صفحه نمایش نگاشت و ترکیب می‌کند تا زاویه دید جدید به‌شکل آنی رندر شود. خطوط پردازش کنونی 3DGS اغلب صحنه‌ها را به‌صورت آفلاین و بر پایه تصاویر متعدد بازسازی می‌کنند؛ در حالی که این پیش‌نمونه جدید می‌تواند داده‌ها را مستقیماً از موتور بازی در حال اجرا دریافت کرده و مدل سه‌بعدی را حین بازی به‌روزرسانی کند.
تأمین ساختار هندسی با موتور بازی Unity
این سامانه آزمایشی وظایف محاسباتی و پردازشی را میان برنامه Unity و یک افزونه بومی C++ تقسیم می‌کند:
بخش سیستم | شرح مسئولیت‌ها |
|---|---|
موتور Unity | اجرای شبیه‌سازی فیزیکی، مدیریت دوربین‌ها، رهگیری اشیای بازی و تولید بافت‌های مرجع. |
افزونه C++ | بهره‌گیری از بسترهای CUDA و LibTorch برای ذخیره‌سازی، بهینه‌سازی، رندر و تبدیل پارامترهای گوسی به داده‌های جریانی. |
دستگاه کلاینت | دریافت بسته‌ها و به‌روزرسانی‌های تدریجی و سپس رندر مدل سه‌بعدی از زاویه دید دلخواه کاربر به‌صورت محلی. |
مطالب مرتبط و پیشنهادی
مدل‌های هوش مصنوعی در تعقیب نگاه انسان ناکام ماندند؛ نتایج بنچمارک جدید StreamGaze
بنچمارک جدید StreamGaze نشان می‌دهد مدل‌های چندوجهی هوش مصنوعی هنوز در دنبال کردن نگاه انسان و درک ویدیوهای زنده عملکرد بسیار ضعیفی دارند. در این ارزیابی گسترده، تمام مدل‌های هوش مصنوعی به‌ویژه در پیش‌بینی رفتارها و اهداف بعدی کاربر از انسان‌ها عقب ماندند.
نسخه دوم شاخص Decision Index منتشر شد؛ ارزیابی هم‌زمان دقت و میزان اطمینان مدل‌های هوش مصنوعی
مجموعه Artificial Analysis نسخه دوم بنچمارک Decision Index را با تمرکز بر ارزیابی هم‌زمان صحت پاسخ‌ها و میزان اطمینان مدل‌ها بازطراحی کرد. در این نسخه، کالیبراسیون احتمالاتی نقش پررنگی در رتبه‌بندی نهایی ایفا می‌کند و سهم داده‌های آزمایشی محرمانه به ۴۵ درصد افزایش یافته است. این تغییرات ساختاری، جایگاه مدل‌های تخصصی تصمیم‌گیری را در مقایسه با مدل‌های بزرگ عمومی ارتقا می‌دهد.
مدل Tess-4.5-27B معرفی شد؛ کاهش ۲۵ درصدی مصرف توکن در ایجنت‌های کدنویسی محلی
تیم Continuity Research مدل متن‌باز Tess-4.5-27B را برای اجرای بهینه ایجنت‌های کدنویسی روی سخت‌افزارهای محلی منتشر کرد. این مدل با حفظ کامل دقت در سناریوهای حل مسئله، مصرف توکن را تا ۲۵ درصد کاهش می‌دهد. توسعهدهندگان اکنون می‌توانند ایجنت‌های خودکار را با مصرف حافظه بهینه روی کارت‌های گرافیک مصرفی به کار بگیرند.
دیدگاه ها و گفتگوی تخصصی
نظرات خود را با جامعه مخاطبان وایر ای آی در میان بگذارید
هنوز دیدگاهی برای این مطلب ثبت نشده است
اولین نفری باشید که دیدگاه، تحلیل یا دیدگاه خود را درباره این موضوع با دیگران به اشتراک می گذارد.