ردیابی دقیق پیکسل‌ها در ویدیو؛ گوگل دیپ‌مایند تمام مدل‌های TapNet را یکپارچه کرد

گوگل دیپ‌مایند جعبه‌ابزار ردیابی نقطه خود را در TapNet یکپارچه کرد

ریپازیتوری TapNet متعلق به گوگل دیپ‌مایند (Google DeepMind) حسابی در فهرست ترندهای گیت‌هاب بالا آمده و حالا به پایگاه رسمی و مرجع اصلی تمام مدل‌ها، بنچمارک‌ها، چک‌پوینت‌ها و دموهای خانواده Tracking Any Point (به‌اختصار TAP) این آزمایشگاه تبدیل شده است. این مخزن ارزشمند برای توسعه‌دهندگان حوزه ویدیو و رباتیک، پایان دوران سردرگمی میان مقاله‌های پراکنده و پیاده‌سازی‌های مختلف محسوب می‌شود و همه چیز را در قالب یک کدبیس شسته‌رفته و مرتب در اختیارشان می‌گذارد.

این پروژه که تاکنون حدود ۲۲۰۰ ستاره در گیت‌هاب دریافت کرده، مجموعه‌ای کامل شامل کدهای آماده در دو فریم‌ورک محبوب JAX و PyTorch، چک‌پوینت‌های پیش‌آموزش‌دیده، ۱۱ نوت‌بوک تعاملی در گوگل کولب (Colab)، ابزار‌های ارزیابی TAP-Vid و حتی یک دموی زنده و جذاب با وب‌کم را ارائه می‌دهد. البته سطح پشتیبانی در مدل‌های مختلف کمی متفاوت است؛ بنابراین انتخاب مدل مناسب برای پیاده‌سازی و اجرا به فریم‌ورک مدنظر، میزان تأخیر پردازش (Latency)، وضوح تصویر و افق زمانی ردیابی بستگی دارد.

وقتی یک پیکسل ساده به یک مسیر حرکتی زنده تبدیل می‌شود

مکانیزم کار مدل‌های TAP فوق‌العاده جذاب است: کافی است یک ویدیو به آن بدهید و یک یا چند نقطه دلخواه را روی هر فریمی که می‌خواهید مشخص کنید. مدل Tracking Any Point موقعیت دوبعدی همان نقطه را در تمام فریم‌های دیگر ویدیو تخمین می‌زند. نکته جالب‌تر اینجاست که این مدل حتی میزان پیدا بودن نقطه را هم پیش‌بینی می‌کند؛ یعنی اگر جسمی جلوی آن قرار بگیرد و نقطه پشت مانع پنهان شود، مدل متوجه پنهان‌شدن آن می‌شود و به محض بیرون آمدن، ردیابی را بدون خطا از سر می‌گیرد.

یک سیستم جامع TAP ترکیبی قدرتمند از مکان‌یابی در مقیاس پیکسل، ردیابی سطوح تغییرشکل‌پذیر (Deformable)، اتصال حرکتی در فواصل طولانی و مدیریت هوشمندانه انسداد و موانع است. نقطه انتخابی شما می‌تواند روی تار و پود یک پارچه، بافت آجر، پوست انسان یا حتی گیره یک بازوی رباتیک قرار بگیرد؛ مدل هم دقیقاً رد حرکت همان نقطه ظریف را در سراسر کلیپ ویدیویی به شکل یک خط سیر پیوسته ثبت می‌کند.

• ورودی: یک فایل ویدیویی به همراه نقاط پرس‌وجو (Query Points) که با شماره فریم و مختصات دوبعدی تصویر مشخص می‌شوند.
• خروجی: مختصات مکانی نقطه در هر فریم به همراه تخمین دقیق وضعیت دیده شدن یا پنهان بودن آن.
• حالت‌های پردازش: حالت آفلاین که کل ویدیو را به صورت یکجا بررسی می‌کند، و حالت علّی (Causal Tracking) که فریم‌ها را به‌محض ورود و به‌صورت بی‌درنگ پردازش می‌نماید.
• کاربردها: یادگیری تقلیدی در رباتیک، تدوین و جلوه‌های ویژه ویدیویی، بازسازی پویای سه‌بعدی، تحلیل حرکات ورزشی و پزشکی، و ارزیابی کیفیت مدل‌های ویدیوساز هوش مصنوعی.

هفت سیستم مجزا برای مأموریت‌های متفاوت