ابزار متن‌باز SiLVi ویدیوهای رفتار حیوانات را به داده‌های آموزشی هوش مصنوعی تبدیل می‌کند

محققانی که مدل‌های هوش مصنوعی را برای تشخیص رفتارهای اجتماعی آموزش می‌دهند، به برچسب‌هایی نیاز دارند که هر عمل را به عاملان آن، موقعیت مکانی در کادر و مدت‌زمان وقوع پیوند دهند. ابزارهای سنتی ثبت رفتار معمولاً رویدادهایی مانند تیمار کردن (نظافت متقابل) را بدون تعیین جایگاه حیوانات در فریم ویدیو ثبت می‌کنند؛ از سوی دیگر، بیشتر ابزارهای برچسب‌گذاری بینایی ماشین فقط به ردیابی تکی موجودات می‌پردازند و ارتباطات میان آن‌ها را توصیف نمی‌کنند. در نتیجه، هیچ‌یک از این خروجی‌ها تصویری کامل از یک تعامل واقعی، مثل تیمار شدن یک نخستی‌سان توسط دیگری یا نگاه کردن حیوان به سمت ظرف غذا، ثبت نمی‌کنند.

تیمی از پژوهشگران دانشگاه گوتینگن و مرکز نخستی‌سانان آلمان نرم‌افزار دسکتاپ و متن‌بازی به نام SiLVi منتشر کرده‌اند که برچسب‌گذاری رفتاری و مکانی را با یکدیگر ترکیب می‌کند. طبق مقاله علمی منتشرشده درباره این پروژه، این ابزار «گراف‌های صحنه پویا» (Dynamic Scene Graphs) تولید می‌کند؛ ساختاری که موجودیت‌ها و روابط متغیر آن‌ها را در طول فریم‌های ویدیو به‌دقت ثبت می‌کند. چنین ساختاری می‌تواند پایه‌ای قدرتمند برای تولید داده‌های آموزشی در مدل‌های تحلیل رفتار حیوانات و سایر سیستم‌های هوش مصنوعی باشد که تعاملات پویا را در گذر زمان ارزیابی می‌کنند.

ضعف ابزارهای سنتی در پیوند دادن رفتارها به بازیگران صحنه

ابزارهای ثبت رفتاری مانند BORIS می‌توانند زمان رخ دادن یک تعامل را مشخص کنند، اما این رویداد را به محدوده مشخصی از کادر ویدیو متصل نمی‌کنند. مدل‌هایی که برای درک رفتارهای مبتنی بر موقعیت مکانی آموزش می‌بینند، هم‌زمان به خود رویداد و اشخاص، حیوانات یا اشیای دخیل در آن نیاز دارند. سایر ابزارهای برچسب‌گذاری نیز هرچند از برچسب‌های مکانی و زمانی پشتیبانی می‌کنند، اما اغلب صرفاً بر کارهای فردی متمرکز هستند و تعاملات چندگانه را بازتاب نمی‌دهند. سیستم‌های مبتنی بر نقاط کلیدی وضعیت بدنی (Pose Keypoints) توانایی بازنمایی تعاملات را دارند، اما ردیابی پایدار و قابل‌اطمینان این نقاط کلیدی در محیط‌های شلوغ یا فضاهایی با شرایط متغیر، همچنان چالشی به‌شدت دشوار به شمار می‌رود.