پروژه متن‌باز Jasna با کاهش ۷۷ درصدی مصرف حافظه گرافیکی، سرعت بازسازی ویدیو را ۵ برابر کرد

نگاهی به سازوکار چرخه کم‌مصرف Jasna در بازسازی ویدیو

پروژه پایتونی Jasna که برای بازسازی و ترمیم بخش‌های شطرنجی‌شده در ویدیوها و تصاویر توسعه یافته، موفق شده است از مرز ۲٬۳۰۰ ستاره در گیت‌هاب عبور کند. این پروژه با وجود داشتن یک حوزه کاربردی مشخص، مجموعه‌ای از تکنیک‌های استنتاجی ارزشمند و پرکاربرد در دنیای هوش مصنوعی را در خود جای داده است؛ از جمله به‌کارگیری یک آشکارساز مبتنی‌بر ترنسفورمر پیش از شبکه ترمیم تصویر (Inpainting)، موتورهای پردازشی TensorRT با اندازه دسته ثابت (Fixed-batch)، مدیریت خودکار حافظه کارت گرافیک (GPU) و پردازش زمانی هوشمند و حساس به تغییر صحنه.

این کد بر پایه پروژه Lada توسعه یافته است و از مدل mosaic_restoration_1.2 بهره می‌برد که توسط سازنده Lada آموزش داده شده است. با این حال، Jasna بخش‌های مهندسی نرم‌افزار و زیرساخت پیرامون این مدل را به‌شکل چشمگیری بهینه‌سازی کرده است؛ پیشرفت‌هایی که شامل مرحله تشخیص سریع‌تر، کاهش محسوس مصرف حافظه گرافیکی (VRAM)، پشتیبانی سه‌بعدی از فرمت VR180 به‌صورت دوتصویره (Side-by-Side)، ویرایش تعاملی بازه‌های ویدیو و امکان اتصال ابزارهای جانبی ارتقای رزولوشن (Upscaler) می‌شوند.

نخست تشخیص، سپس بازسازی فریم‌ها

ابزار Jasna ابتدا نواحی مدنظر را در هر فریم شناسایی می‌کند و سپس این بخش‌ها را در قالب برش‌های زمانی به مدل بازسازی می‌فرستد. در این چرخه، مدل RF-DETR v6 به‌عنوان آشکارساز پیش‌فرض سیستم عمل می‌کند، در حالی که کاربران می‌توانند با انتخاب نسخه‌های بزرگ‌تر RF-DETR یا مدل‌های متنوع YOLO، با صرف توان پردازشی بیشتر به‌دقت تشخیص بالاتری دست یابند.

مکانیزم‌های اختصاصی پردازش ویدیو مانع از آن می‌شوند که فریم‌های مجاور به‌صورت تصاویری مستقل و نامرتبط پردازش شوند. هم‌پوشانی زمانی و فیدهای تدریجی (Crossfade) میزان سوسوزدن تصویر را در محل اتصال برش‌ها به حداقل می‌رسانند؛ هم‌زمان قابلیت تشخیص تغییر ناگهانی صحنه (Hard-cut) جلوی ترکیب و تداخل ناخواسته داده‌های بازسازی را در زمان تعویض صحنه‌ها می‌گیرد.

• ویرایشگر بازه‌های ویدیویی (Segment editor): پیش‌نمایش ویدیو، محدود کردن پردازش به بازه‌های انتخابی و پشتیبانی از بزرگ‌نمایی و حرکت روی تصویر را فراهم می‌کند.
• پخش‌کننده داخلی (Native player): امکان جابه‌جایی سریع میان فریم‌های بازسازی‌شده را پیش از خروجی گرفتن و ذخیره کامل فایل ممکن می‌سازد.
• حالت استریم (Streaming mode): ویدیوی پردازش‌شده را به‌صورت زنده به پخش‌کننده تحت مرورگر یا نسخه‌های سازگار پلتفرم Stash ارسال می‌کند.
• پشتیبانی از فرمت VR180: محتوای سه‌بعدی را به‌تفکیک هر چشم پردازش می‌کند و امکان اعمال تنظیمات بازسازی ویژه بر اساس استودیوهای مختلف را دارد.

مهار مصرف حافظه با موتورهای پردازشی ثابت

بنچمارک‌های اصلی ثبت‌شده در مخزن این پروژه، روی کارت گرافیک انویدیا RTX 5090 در کنار پردازنده اینتل Core i9-13900K انجام گرفته است. این آمارها عملکرد Jasna را در مقایسه با Lada تحت شرایط آزمایشی خاص پروژه نشان می‌دهند؛ بنابراین عواملی همچون تنظیمات کدک، مدل انتخابی، نسخه درایور کارت گرافیک و مشخصات فایل ورودی نقشی تعیین‌کننده در بازتولید این نتایج خواهند داشت.