شاهکار مدل میتسوبا: جا دادن غول بینایی ۲۷ میلیاردی در ۷ گیگابایت حافظه روی یک کارت گرافیک معمولی!

جا دادن یک مدل بینایی ۲۷ میلیاردی در ۷٫۳ گیگابایت با جادوی میتسوبا

میتسوبا (Mitsuba) یک مدل بینایی-زبانی با کوانتیزاسیون سه‌تایی (Ternary) است که دقیقاً برای یک کار جذاب طراحی شده: تبدیل تصاویر مرجع به پرامپت‌های‌تر و تمیز و ساختاریافته برای ابزار‌هایی مثل ComfyUI، استیبل دیفیوژن (Stable Diffusion)، Krea و سایر ابزار‌های تولید تصویر. مدل پایه این سیستم ۲۷ میلیارد پارامتر دارد، اما به لطف این روش فشرده‌سازی، بسته به فرمت انتخابی به حجم فوق‌العاده ۷٫۳ یا حتی ۶٫۰ گیگابایت رسیده است؛ به این معنی که طبق گزارش سازنده، هر دو نسخه به راحتی روی یک کارت گرافیک معمولی ۱۶ گیگابایتی بالا می‌آیند و اجرا می‌شوند.

این نسخه مخصوص توسعه‌دهندگانی آماده شده که به دنبال پردازش و تحلیل محلی تصاویر و تولید پرامپت‌های مهندسی‌شده و دقیق با محدودیت‌های سفت‌وسخت هستند. پس اگر به دنبال چت عمومی، برنامه‌نویسی و کدنویسی، یا خلاصه‌سازی اسناد طولانی هستید، روی میتسوبا حساب باز نکنید، چون این مدل اصلاً برای این کار‌ها ساخته نشده است.

عکس تحویل بده، پرامپت آماده برای تولید تصویر تحویل بگیر!

میتسوبا یک عکس را به عنوان ورودی دریافت می‌کند و آن را به شکلی توصیف و بازنویسی می‌کند که مدل‌های دیگر بتوانند مستقیماً از آن برای خلق تصاویر یا ویدیوهای جدید استفاده کنند. قابلیت‌ها و جریان‌های کاری مورد پشتیبانی این مدل عبارتند از:

• پرامپت‌های استیبل دیفیوژن: رعایت دقیق سقف تعداد کلمات، اضافه کردن کلمات کلیدی الزامی، حذف اصطلاحات ممنوعه و اضافه کردن بخش پرامپت منفی با خط Negative در انتهای کار.
• پرامپت‌های ویدیویی زمان‌بندی‌شده: تقسیم‌بندی ویدیو به بازه‌های زمانی مشخص مثل 0-3s، 3-6s و 6-9s همراه با تعریف دقیق حرکت دوربین برای هر بخش از ویدیو.
• توصیف همه‌جانبه تصاویر: پوشش دقیق جزئیات شامل اشیاء، تعداد موارد، افراد، صحنه‌ها، نمودارها و حتی متن‌های خوانای داخل تصویر.

البته در نظر داشته باشید که تولید پرامپت با محدودیت‌های سخت‌گیرانه هنوز بدون نقص نیست. طبق صفحه رسمی مدل، میتسوبا در ۶ مورد از ۱۰ تست انجام‌شده توانسته تمام شروط سخت‌گیرانه را مو به مو رعایت کند؛ بنابراین اگر قصد دارید از آن در برنامه‌ها یا پایپ‌لاین‌های خود استفاده کنید، حتماً قبل از فرستادن خروجی به مدل‌های بعدی، مواردی مثل کلمات الزامی، کلمات حذفی، سقف کلمات و ساختار خروجی را بررسی و اعتبارسنجی کنید.

وزن‌های سه مقداری و دو نسخه مختلف

مدل میتسوبا وزن‌های رسمی مدل Qwen3.8-27B را تقریباً به ۱٫۵۸ بیت به ازای هر وزن کوانتیزه کرده است. در این روش هوشمندانه، هر وزن تنها با یکی از این سه مقدار نشان داده می‌شود: -1، 0 یا +1. این فایل‌ها با استفاده از فرمت‌های کوانتیزاسیون GGUF شرکت Prism ML عرضه شده‌اند و امکان اجرای فوق‌العاده سبک و کم‌مصرف را برای کاربران فراهم می‌کنند.