مدل بینایی EQ-VMamba با یک‌سوم پارامترها، دقت بالاتری نسبت به VMamba ثبت کرد

مدل‌های بینایی Mamba با تطبیق مدل‌های فضای حالت انتخابی (SSM) با پردازش تصویر، توالی توکن‌ها را با هزینه‌ای پردازش می‌کنند که به‌صورت خطی با طول توالی افزایش می‌یابد. سازوکار خودتوجهی سراسری معمولاً تمام جفت‌توکن‌ها را مقایسه می‌کند؛ از این رو معماری‌های مبتنی بر Mamba در وضوح تصویر بالا هزینه‌های مقیاس‌پذیری بسیار پایین‌تری ارائه می‌دهند. با وجود این، اسکن‌های جهت‌دار در این معماری‌ها نقطه‌ضعف بزرگی ایجاد کرده است؛ چراکه چرخش ۹۰ درجه‌ای یک تصویر می‌تواند پیش‌بینی مدل را به‌شکل چشمگیری تغییر دهد.

پژوهشگران دانشگاه شی‌آن جیائوتنگ این نقطه‌ضعف را در مقاله جدیدی با معرفی معماری EQ-VMamba برطرف کرده‌اند. نویسندگان، این دستاورد را نخستین معماری بینایی Mamba با ضمانت ریاضی برای هم‌واریانسی تحت چهار جهت اصلی چرخش توصیف می‌کنند. نسخه کوچک این مدل با تنها ۱۰ میلیون پارامتر به‌دقت ۸۸.۵۸ درصدی Top-1 در بنچمارک ImageNet-100 دست می‌یابد؛ در حالی که مدل VMamba-T برای دستیابی به عملکردی پایین‌تر به ۳۰ میلیون پارامتر نیاز دارد.

اسکن ثابت و ناپایداری مدل در برابر چرخش تصاویر

مدل VMamba هر نقشه ویژگی دوبعدی را به چهار توالی یک‌بعدی تبدیل می‌کند، آن‌ها را در امتداد مسیرهای جهتی مختلف به پردازش درمی‌آورد و سپس نتایج را با یکدیگر ادغام می‌کند. هرچند این مسیرها جهت‌های متعددی را پوشش می‌دهند، اما ترتیب توکن‌ها همچنان به محورهای افقی و عمودی تصویر وابسته باقی می‌ماند. چرخش ۹۰ درجه‌ای تصویر، این توالی‌ها و حالت‌های انباشته‌شده در امتداد آن‌ها را دگرگون می‌سازد، در حالی که اسکن متقاطع اولیه هیچ انطباق ساختاری و تضمین‌شده‌ای میان ویژگی‌های تغییریافته برقرار نمی‌کند.

تکنیک‌های افزایش داده می‌توانند مدل را با نمونه‌های چرخیده‌شده آشنا کنند، اما هرگز نمی‌توانند ضمانتی بر پایه معماری مدل ارائه دهند. این مقاله نشان می‌دهد که پس از چرخاندن ورودی‌ها، نتیجه بخش‌بندی تصویر در مدل VMamba-T روی بنچمارک ADE20K با افت ۲۴.۱۷ درصدی مواجه می‌شود. چنین حساسیتی به‌ویژه برای تحلیل تصاویر ماهواره‌ای، میکروسکوپی و سایر داده‌هایی که جهت بالایی ثابتی ندارند، چالشی حیاتی به‌شمار می‌رود.