بنچمارک MER-Bench ضعف مدل‌های هوش مصنوعی را در ویرایش دقیق میم‌ها آشکار کرد

میم‌ها نقطه‌ضعف پیچیده‌ای را در ویرایش چندوجهی تصاویر آشکار کرده‌اند؛ در یک میم اینترنتی، تصویر و متن زیرنویس یک واحد معنایی یکپارچه را تشکیل می‌دهند، بنابراین تغییر هر یک از آن‌ها می‌تواند شوخی و طنز نهفته در آن را به‌کلی نابود کند. اکنون بنچمارک جدیدی به نام MER-Bench از ابزارهای ویرایش تصویر و مدل‌های چندوجهی می‌خواهد میم‌هایی را که بار معنایی یا حسی منفی دارند، به نسخه‌هایی مثبت و سازنده تبدیل کنند؛ در حالی که سناریوی اصلی، هویت شخصیت‌ها و اشیا، و چیدمان کلی تصویر باید کاملاً دست‌نخورده باقی بماند.

پژوهشگران این وظیفه را با الهام از تکنیک روانشناسیِ تغییر تفسیر احساسی رویدادها، «ارزیابی مجدد میم» (Meme Reappraisal) نامیده‌اند. این مفهوم در دنیای میم‌ها، شبیه به انتقال سبک در سطح احساسی است که باید تحت محدودیت‌های دیداری و متنی سختگیرانه‌ای انجام شود. خروجی نهایی باید چارچوب احساسی کاملاً جدیدی را منتقل کند، اما در عین حال همچنان مشخص باشد که بر اساس همان تصویر مبدأ شکل گرفته است.

ویرایشی ظریف با محدودیت‌های سختگیرانه

ویرایشگران سنتی تصویر می‌توانند صحنه‌ها را بازنقاشی کنند، اشیا را تغییر دهند یا سبک‌های بصری متفاوتی را اعمال نمایند؛ از سوی دیگر، مدل‌های مولد چندوجهی نیز قادرند بر اساس پرامپت کاربر، تصاویری به‌همراه متن تولید کنند. با این حال، ارزیابی مجدد میم نیازمند هماهنگی و همگرایی هم‌زمان چندین توانایی پیچیده است:

• متن جدید یا زیرنویس باید کاملاً خوانا باقی بماند و دقیقاً در کادر متنی موجود جای بگیرد.
• شخصیت‌ها، اشیا و زمینه داستانی اصلی تصویر باید پس از ویرایش حفظ شوند.
• هندسه و یکپارچگی ساختاری فریم‌های تک‌پنلی یا چندپنلی نباید آسیب ببیند.
• متن بازنویسی‌شده و تصویر ویرایش‌یافته باید با همکاری یکدیگر، احساس هدف را به‌درستی به مخاطب منتقل کنند.

یک دستور ویرایشی کلی و گسترده مانند «این میم را مثبت کن»، معمولاً فرایند بازتولید گسترده‌ای را فعال می‌کند که نتیجه آن خلق صحنه یا قالبی کاملاً متفاوت خواهد بود. بنچمارک MER-Bench دقیقاً همین توانایی را می‌سنجد: آیا یک مدل می‌تواند تغییری احساسی و محدود را بدون انحراف معنایی، به‌هم‌ریختگی متنی یا برهم زدن ترکیب‌بندی کلی تصویر پیاده‌سازی کند؟