سیستم جدید SGS-SLAM برچسب‌های معنایی را مستقیماً درون نقشه‌های گوسی سه‌بعدی ادغام می‌کند

تعبیه مستقیم برچسب‌های معنایی در نقشه‌های گوسی سه‌بعدی با SGS-SLAM

تیم پژوهشگران مخزن کامل پروژه SGS-SLAM را شامل کدهای ردیابی، نقشه‌برداری، بهینه‌سازی پس‌پردازشی و بصری‌سازی، تحت مجوز متن‌باز BSD-3-Clause منتشر کردند. این سامانه که در کنفرانس ECCV 2024 ارائه شده است، از سوی توسعه‌دهندگانش به‌عنوان نخستین چرخه پردازش اسلم بصری معنایی مبتنی بر تکنیک 3D Gaussian Splatting شناخته می‌شود.

فناوری مکان‌یابی و نقشه‌برداری هم‌زمان بصری (Visual SLAM) مسیر حرکت دوربین را تخمین می‌زند و هم‌زمان محیط پیرامون آن را بازسازی می‌کند. سامانه SGS-SLAM این بازسازی را در قالب مجموعه‌ای از المان‌های پایه گوسی نمایش می‌دهد که هر یک با ویژگی‌هایی نظیر موقعیت، شکل هندسی، میزان شفافیت (اوپاسیتی)، رنگ و مشخصه‌های معنایی تعریف می‌شوند. این المان‌های صریح را می‌توان به‌سرعت رندر کرد و با دریافت فریم‌های جدید RGB-D، به‌صورت جداگانه به‌روزرسانی نمود.

تبدیل اطلاعات معنایی به داده‌های اصلی نقشه

سیستم‌های متراکم SLAM که بر پایه میدان‌های ضمنی عصبی توسعه یافته‌اند (از جمله سامانه‌های NICE-SLAM، ESLAM و Point-SLAM)، اغلب موجب تار شدن مرزهای اشیا می‌شوند و ساختارهای هندسی نازک یا سطوح با بافت ضعیف را از دست می‌دهند. در مقابل، SGS-SLAM ویژگی‌های ظاهری، هندسی و معنایی را به‌طور هم‌زمان درون نقشه گوسی بهینه‌سازی می‌کند و اطلاعات مربوط به دسته‌بندی اشیا را در همان ساختاری حفظ می‌نماید که برای بازسازی و رندر سه‌بعدی به کار می‌رود.

• بهینه‌سازی هم‌زمان کانال‌ها: هر المان گوسی شامل پارامترهای ظاهری، هندسی و معنایی اختصاصی است که در طول مراحل ردیابی و نقشه‌برداری به‌روزرسانی می‌شوند.
• تابع زیان ویژگی‌های معنایی: در موقعیت‌هایی که اطلاعات رنگ و عمق داده‌های محدودی ارائه می‌دهند، نظارت معنایی یک سیگنال بهینه‌سازی تکمیلی فراهم می‌سازد. طبق گزارش مقاله پژوهشی، این سازوکار به بازسازی بسیار دقیق‌تر اشیای باریک و سطوح کم‌بافت منجر شده است.
• انتخاب فریم‌های کلیدی بر پایه ویژگی‌های معنایی.