روش ابداعی KiToke با حذف ۹۹ درصد توکن‌ها، دقت هوش مصنوعی ویدئویی را حفظ می‌کند

حفظ ۸۹٫۲ درصد از عملکرد با تنها یک درصد توکن‌های ویدئو در روش KiToke

ورودی ویدئوهای طولانی می‌تواند ده‌ها هزار توکن بصری تولید کند. از آنجا که مکانیزم توجه به خود (Self-Attention) در مدل‌های ترنسفورمر توکن‌ها را دوبه‌دو مقایسه می‌کند، هزینه‌های پردازشی و مصرف حافظه آن تقریباً متناسب با توان دوم طول توالی افزایش می‌یابد. اکنون روش جدیدی بدون نیاز به آموزش مجدد با نام KiToke معرفی شده است که توکن‌های بصری تصویرشده را پیش از ورود به فاز پیش‌پر کردن (Prefill) در مدل زبانی، گزینش و ادغام می‌کند؛ راهکاری که طول توالی را بدون تغییر در وزن‌های مدل کاهش می‌دهد. آزمایش‌ها با نرخ نگه‌داری ۱ درصدی نشان می‌دهد افت عملکرد این روش نسبت به سایر راهکارهای فشرده‌سازی توکن بسیار کمتر است.

چرا نگه‌داری یک درصد از توکن‌ها نقطه ضعف الگوریتم‌های گزینش را آشکار می‌کند؟

بودجه نگه‌داری ۱ درصدی به این معناست که ۹۹ توکن از هر ۱۰۰ توکن دور ریخته می‌شود؛ بنابراین عملاً هیچ فضایی برای ذخیره اطلاعات تکراری باقی نمی‌ماند. در چنین شرایطی، نماهای تقریباً یکسان از یک پس‌زمینه ثابت می‌توانند بخش زیادی از بودجه باقی‌مانده را ببلعند و جزئیات مهمی مانند حرکتی کوتاه، شیئی کوچک یا فریمی خاص را از دور خارج کنند. خطاهای زمانی نیز چالش دیگری به‌همراه دارند؛ به‌طوری‌که ادغام توکن‌ها در لحظه کات یا تغییر صحنه، شواهد مربوط به نماهای کاملاً بی‌ارتباط را با یکدیگر ترکیب می‌کند.

روش‌های فعلی که به آموزش مجدد نیازی ندارند، بخشی از این معضل را برطرف می‌کنند؛ اما با کاهش شدید بودجه توکن‌ها، قوانین گزینش آنها کارایی خود را از دست می‌دهند:

• PruneVID: این روش افزونگی زمانی و مکانی را به‌صورت جداگانه بررسی می‌کند؛ رویکردی که ممکن است اطلاعات تکراری در امتداد هر دو بعد را از قلم بیندازد و در صحنه‌های دارای حرکت پویا عملکرد ضعیفی داشته باشد.
• VidCom2: این ابزار میزان یکتایی هر توکن را نسبت به میانگین یک الگوی اولیه (Prototype) می‌سنجد. با این حال، ویدئوهای پرتحرک می‌توانند پایداری این الگو را برهم بزنند و این روش نیز افزونگی میان توکن‌های نگه‌داری‌شده را به‌شکل مستقیم کنترل نمی‌کند.
• FastVID: این الگوریتم از رتبه‌بندی مبتنی بر چگالی در بازه‌های زمانی مشخص بهره می‌برد. در این شیوه، توکن‌های کمیاب و حاوی اطلاعات کلیدی ممکن است اولویت پایینی بگیرند، در حالی که توکن‌های مشابه همچنان بخش زیادی از بودجه محدود را مصرف می‌کنند.

چگالی سراسری؛ راهکار KiToke برای کشف شواهد کمیاب و حساس

روش KiToke گزینش توکن‌ها را مسئله‌ای برای ایجاد تنوع سراسری در کل فریم‌های ویدئو در نظر می‌گیرد. این روش برای بردار ویژگی (Embedding) هر توکن بصری، شباهت کرنل گاوسی آن را با تمام توکن‌های دیگر محاسبه و جمع می‌زند. فریم‌های تکراری، پس‌زمینه‌های ثابت و بخش‌هایی از تصویر که تغییرات بسیار کندی دارند، امتیاز چگالی بالایی به دست می‌آورند؛ زیرا بردارهای مشابه فراوانی در همسایگی آنها قرار دارد. در نقطه مقابل، توکن‌های نامتعارف و خاص همسایه‌های نزدیک کمتری دارند و با کسب امتیاز چگالی پایین‌تر، به‌عنوان شواهد کلیدی و کمیاب شناسایی می‌شوند.