روش نوآورانه MCLR هزینه اجرای مدل‌های تولید تصویر دیفیوژن را به نصف کاهش می‌دهد

پژوهشگران دانشگاه میشیگان و دانشگاه ایالتی میشیگان روش فاین‌تیون جدیدی ابداع کرده‌اند که به مدل‌های هوش مصنوعی مولد شرطی یاد می‌دهد مرز میان کلاس‌های مختلف را با دقت و تفکیک بسیار بالاتری تشخیص دهند. نویسندگان در مقاله پژوهشی MCLR این هدف آموزشی را به سازوکار هدایت بدون طبقه‌بند (Classifier-Free Guidance یا CFG) پیوند زده‌اند و نشان داده‌اند مدل‌ها حتی بدون فعال بودن CFG، به نتایجی هم‌تراز یا حتی بهتر روی چندین بنچمارک ImageNet دست پیدا می‌کنند. حذف نیاز به CFG می‌تواند تعداد ارزیابی‌های مورد نیاز مدل را در هر گام از نمونه‌برداری دیفیوژن به نصف کاهش دهد و سرعت تولید تصویر را دوچندان کند.

چرا مرز میان دسته‌ها در مدل‌های دیفیوژن کم‌رنگ می‌شود؟

مدل‌های دیفیوژن نحوه معکوس‌کردن فرآیندی را یاد می‌گیرند که طی آن نویز به‌تدریج به داده‌ها اضافه می‌شود. از نظر تئوری، اگر یک شبکه امتیازدهی شرطی به حالت بهینه برسد، اطلاعات کافی برای نمونه‌برداری مستقیم از توزیع داده‌ها بر اساس شرط تعیین‌شده یعنی p(x|c) را در اختیار دارد؛ اما در عمل، مدل‌ها این امتیاز را صرفاً تخمین می‌زنند و خروجی‌های آن‌ها بدون هدایت کمکی معمولاً نمی‌توانند جزئیات شرط و کلاس درخواستی را با قدرت کافی بازتاب دهند.

سازوکار CFG با ترکیب امتیازهای شرطی و غیرشرطی در هر گام از فرآیند معکوس، تفکیک خروجی را تقویت می‌کند. فرمول رایج این رابطه به‌صورت زیر تعریف می‌شود:

s_cfg = s_uncond + g * (s_cond - s_uncond)

افزایش مقیاس هدایت (ضریب g) به‌طور کلی وفاداری خروجی به پرامپت یا شرط ورودی را بالا می‌برد و کیفیت بصری را بهبود می‌بخشد، اما از سوی دیگر تنوع تصاویر تولیدی را کاهش می‌دهد. پژوهش‌های پیشین نشان داده‌اند که بهره‌گیری از CFG می‌تواند شاخص خطای FID را تا ۷۵ درصد کاهش دهد. با این حال، نقطه‌ضعف بزرگ این روش نیاز به اجرای دو ارزیابی مجزا (شرطی و غیرشرطی) در هر گام است؛ مسئله‌ای که محاسبات مدل را در لحظه پاسخگویی (استنتاج) تقریباً دو برابر می‌کند، حتی اگر هر دو پردازش به‌صورت دسته‌ای (Batch) اجرا شوند. علاوه‌بر این، امتیاز دستکاری‌شده در CFG فاقد یک فرآیند دیفیوژن رفت استاندارد متناظر است و همین موضوع تفسیر آماری و احتمالاتی آن را پیچیده می‌کند.

پژوهشگران علت اصلی کارآمدی CFG را تفکیک ضعیف توزیع‌های شرطی در فرآیند یادگیری اولیه مدل می‌دانند. تصاویری که از یک نویز اولیه یکسان اما با برچسب‌های متفاوتی در ImageNet تولید می‌شوند، اغلب ساختار کلی مشابهی پیدا می‌کنند و ویژگی‌های متمایزکننده کلاس درخواستی در آن‌ها کم‌رنگ می‌شود. روش MCLR با جریمه‌کردن مستقیم این هم‌پوشانی نامطلوب در طول فاین‌تیون، مانع از محوشدن تمایز میان کلاس‌ها می‌شود.

تزریق نسبت درست‌نمایی به تابع زیان

روش «نسبت بیشینه درست‌نمایی بین‌کلاسی» (Maximum Inter-Class Likelihood Ratio) که به‌اختصار MCLR نامیده می‌شود، مدل را به‌گونه‌ای آموزش می‌دهد که برای هر نمونه، درست‌نمایی شرطی تحت کلاس واقعی نسبت به کلاس‌های نامرتبط به‌مراتب بالاتر باشد؛ رویکردی که باعث می‌شود مدل در مواجهه با هر نمونه داده، مرزبندی دقیق کلاس هدف را به‌طور درونی فرا بگیرد و بدون نیاز به ترفندهای محاسباتی سنگین، تصویری کاملاً منطبق با درخواست تولید کند.