ثبت بی‌نقص حرکات سه‌بعدی انسان فقط با یک دوربین؛ شاهکار جدید هوش مصنوعی GVHMR با تکیه بر جاذبه زمین

مهار موشن‌کپچر تک‌دوربینه با تکیه بر جاذبه زمین

خیلی از سیستم‌های موشن‌کپچر (ثبت حرکت) تک‌دوربینه، ژست‌های سه‌بعدی به ظاهر معقولی بر اساس دستگاه مختصات دوربین تحویل می‌دن. اما دردسر واقعی درست از جایی شروع می‌شه که بخواین این ژست‌ها رو وارد دنیای واقعی و یک دستگاه مختصات مشترک کنین؛ اینجاست که بدن کاراکتر کج می‌شه، مسیر حرکتش به مرور زمان منحرف می‌شه و پاهاش روی زمین سر می‌خورن یا حتی به شکل عجیبی توی زمین فرو می‌رن! این خطاها دست‌وبال کارشناسان رو تو حوزه‌های حساسی مثل انیمیشن‌سازی، تحلیل عملکرد ورزشکاران، رباتیک و کلاً هر کاری که به جاذبه، تماس با سطح و حرکت دقیق وابسته است، حسابی می‌بندن.

حالا سیستم نوآورانه GVHMR که توسط تیم تحقیقاتی ZJU3DV توسعه داده شده، وارد میدان شده تا حرکات انسان رو تنها از یک ویدیوی معمولی RGB با مختصات واقعی زمین بازسازی کنه. این روش که نام کاملش Gravity-View Human Motion Recovery است، هر فریم از ویدیو رو بر اساس یک دستگاه مختصات جدید که از تلفیق جاذبه واقعی زمین و زاویه دید دوربین به دست میاد تخمین می‌زنه. همین ایده خلاقانه باعث می‌شه خطاهای تلنبارشده ناشی از پیش‌بینی جهت‌گیری فریم‌به‌فریم تا حد چشمگیری کاهش پیدا کنه.

یک مرجع پایدار برای تک‌تک فریم‌های ویدیو

روش‌های سنتی خودبازگشتی (Autoregressive) معمولاً تغییرات حرکتی رو بین فریم‌های مجاور حدس می‌زنن و در طول زمان اون‌ها رو با هم جمع می‌کنن. توی ویدیوهای طولانی، همین خطاهای کوچیک در زاویه و جابه‌جایی ذره‌ذره روی هم جمع می‌شن و خروجیش می‌شه کاراکترهایی با بالاتنه کج، انحراف عجیب مسیر حرکت و برخورد نامتعادل و لغزنده پاها با سطح زمین.

اینجاست که GVHMR با تعریف یک دستگاه مختصات مبتنی بر «دید و جاذبه» (Gravity-View) برای تک‌تک فریم‌ها، بازی رو عوض می‌کنه. در این ساختار، جاذبه زمین یک محور عمودی کاملاً پایدار می‌سازه و زاویه دید تصویرشده دوربین هم نقش مرجع افقی رو ایفا می‌کنه. مدل هوش مصنوعی زاویه مطلق بدن رو توی همین چارچوب حدس می‌زنه و بعد با تخمین چرخش‌های دوربین، تمام خروجی‌ها رو روی یک دنباله سراسری یکپارچه و منطقی می‌نشونه.

این شیوه بازنمایی مستقیماً خطاهای رایج موشن‌کپچر رو هدف قرار می‌ده و اون‌ها رو برطرف می‌کنه:

• کج شدن غیرعادی بدن: خطایی که به خاطر تخمین ناپایدار محور عمودی رخ می‌داد.
• انحراف مسیر در ویدیوهای طولانی: سرگردانی مسیر حرکت که ناشی از انباشته شدن خطاهای فریم‌به‌فریم روی هم بود.