رونمایی انویدیا از چارچوب VFlash؛ افزایش ۵ برابری سرعت پردازش و برنامه‌ریزی بصری در ربات‌ها و خودروهای خودران

معرفی

پژوهشگران تیم تحقیقاتی یاد‌گیری و ادراک انویدیا (LPR) با همکاری گروه GEAR از چارچوب جدیدی به نام VFlash رونمایی کردند که یک سیستم رمزگشایی بصری و زبانی سریع (مبتنی بر تفکر نوع اول یا System-1) برای هوش مصنوعی فیزیکی است. اطلاعات کامل این دستاورد در صفحه رسمی پروژه VFlash منتشر شده و جیم فن (Jim Fan) به‌همراه تیم پژوهشی انویدیا نیز جزییات آن را به اشتراک گذاشته‌اند.

ایده اصلی این پروژه بر یک نیاز حیاتی استوار است: ربات‌ها و خودروهای خودران باید به‌طور مداوم برنامه‌های بصری خود (شامل نقاط گرفتن اجسام، مسیرهای حرکتی و تغییرات صحنه) را به‌روزرسانی کنند، اما تولید توکن‌های مختصات به روش خودهمبسته (مرحله‌به‌مرحله) بسیار زمان‌بر و پرهزینه است. چارچوب VFlash با بهره‌گیری از هندسه مشخصِ ساختارهای بصری پایه، به یک مدل پیش‌نویس‌کننده سبک اجازه می‌دهد تا کل یک ساختار بصری را در یک مرحله پردازش موازی تولید کند. در همین حین، یک مدل بینایی زبان (VLM) هدف که وزن‌های آن ثابت نگه داشته شده، زمینه کلی را به‌روزرسانی کرده و ویژگی‌های لازم را در اختیار بخش‌های تصمیم‌گیری و اجرای حرکت قرار می‌دهد.

مهم‌ترین دستاوردهای اعلام‌شده برای این سیستم عبارت‌اند از:

• رمزگشایی فوق سریع ساختارهای بصری (Flash Primitive Decoding) برای کادرهای محدودکننده، نقاط، عمق تصویر و مسیرهای حرکتی دوبعدی و سه‌بعدی،
• کاهش چشمگیر خطا: ثبت حدود ۲۸ تا ۶۱ درصد خطای جابه‌جایی سه‌بعدی کمتر در مقایسه با مدل هدف خودهمبسته در بنچمارک‌های ShareRobot-Bench و VABench-V،
• سرعت بالا: افزایش حدود ۵ برابری سرعت استنتاج ربات روی پلتفرم‌های Jetson Thor و DGX Spark، همراه با شتاب‌دهی بسیار بیشتر به فرآیند رمزگشایی در سناریوهای رانندگی خودران،
• بهره‌گیری مدل‌های عملگر پایین‌دستی و بخش‌های اجرایی مبتنی بر انتشار (Diffusion) از ویژگی‌های برنامه‌ریزی VFlash برای دستیابی به نرخ موفقیت بالاتر در کنترل حرکت.

توضیحات فنی و ضرورت طراحی

چالش اصلی

مدل‌های هوش مصنوعی مجسم (Embodied AI) نیازی ندارند که فقط در قالب «متن» فکر کنند. پیش‌بینی اینکه ربات کجای یک جسم را بگیرد، چگونه حرکت کند و صحنه پیش رو چطور تغییر می‌کند، پلی میان درک محیط و اقدام عملی می‌سازد. با این حال، برنامه‌های حرکتی باید با سرعت بالا و به‌طور مداوم نوسازی شوند و تولید مرحله‌به‌مرحله توکن‌های مختصات در این مسیر به یک گلوگاه جدی تبدیل می‌شود.

معماری و طراحی

1. ابتدا یک فراخوانی ابزار، طول داده را مشخص می‌کند و نوع ساختار بصری، چیدمان مختصات را تعیین می‌نماید،
2. با تکیه بر زمینه ثابت مدل بینایی زبان (VLM) هدف، یک مدل پیش‌نویس‌کننده سبک (شامل حدود ۵ لایه ترنسفورمر غیرعلّی) که روی داده‌های هندسی برچسب‌گذاری‌شده آموزش دیده است، کل ساختار بصری را در یک پیش‌نویس موازی و یکپارچه خروجی می‌دهد،
3. هم‌ترازی مرزها و موقعیت‌ها باعث می‌شود بلوک‌های آموزش و رمزگشایی دقیقاً با کل ساختارهای بصری منطبق شوند و از توکن‌های مختصات اختصاصی یا فیلدهایی با عرض ثابت استفاده کنند،
4. بخش‌های متنی مربوط به زیرفرآیندها همچنان از روش رمزگشایی حدسی تاییدشده (Verified Speculative Decoding) بهره می‌برند.

نتایج و ملاحظات

گزارش‌های منتشرشده در صفحه پروژه، بهبودهای قابل‌توجهی را در زمینه کنترل ربات، حرکات متراکم، تشخیص اشیا و شبیه‌سازهای رانندگی خودران مانند NAVSIM و Waymo نشان می‌دهند. هم‌چنین کنترل حرکت در مراحل بعدی، در چندین مجموعه آزمایشی عملکرد بهتری نسبت به مدل‌های پایه مبتنی بر زبان یا برنامه‌ریزی خودهمبسته ثبت کرده است. البته باید توجه داشت که این ارقام توسط خود انویدیا و با استفاده از محیط‌های اجرایی سفارشی TensorRT گزارش شده‌اند؛ بنابراین با یک سیستم پژوهشی و مهندسی روبه‌رو هستیم که لزوماً یک بسته نرم‌افزاری آماده دانلود برای کاربران عادی نیست.

کاربردها

این فناوری مناسب چه کسانی است؟

• پژوهشگرانی که به دنبال افزایش سرعت برنامه‌ریزی بصری در ربات‌ها و خودروهای خودران و تسریع استنتاج مدل‌های بینایی، زبان و عمل (VLA) هستند،
• مهندسانی که سیستم‌های هوش مصنوعی فیزیکی را روی سخت‌افزارهایی مانند Jetson Thor، DGX Spark و پلتفرم‌های مشابه پیاده‌سازی می‌کنند،
• تیم‌های محصولی که تفکیک وظایف میان پردازش سریع (System-1) و استدلال عمیق (System-2) را در هوش مصنوعی مجسم دنبال می‌کنند.

گام‌های بعدی

1. مطالعه جزییات فنی در وب‌سایت رسمی پروژه VFlash،
2. پیگیری انتشار کدها و وزن‌های مدل توسط تیم‌های LPR و GEAR انویدیا،
3. بررسی تطبیقی این دستاورد در کنار سایر پروژه‌های مرتبط انویدیا از جمله NVIDIA Flora، NVIDIA ASPIRE و GR00T.