تبدیل عکس به مدل سه‌بعدی در کمتر از ۲ ثانیه؛ دستاورد مدل متن‌باز Idol

معرفی مدل Idol

مدل Idol (که برای تمایز از واژگان عمومی با نام Sperid Idol نیز شناخته می‌شود) یک ابزار متن‌باز تبدیل تصویر به مدل سه‌بعدی (image-to-3D) از آزمایشگاه Sperid Labs است که در پلتفرم Hugging Face منتشر شد و به‌سرعت در صدر مدل‌های پرطرفدار قرار گرفت. این مدل قادر است تنها با دریافت یک تصویر دوبعدی از یک شیء، نمای کامل و سه‌بعدی آن را در قالب تکنیک گوسیان اسپلتینگ (3D Gaussian Splatting) بازسازی کند؛ بهطوریکه حتی زوایایی از شیء را که در تصویر اصلی دیده نمی‌شوند، به‌خوبی تخمین می‌زند و خلق می‌کند.

خروجی این مدل یک فایل استاندارد 3DGS .ply حاوی حداکثر حدود یک میلیون نقطه گوسی است. ویژگی جذاب این مدل، امکان اجرای آن روی پردازنده‌های گرافیکی معمولی کاربران خانگی است؛ یعنی تنها به حدود ۷٫۲ گیگابایت حافظه ویدئویی (VRAM) نیاز دارد و هر شیء را در کمتر از ۲ ثانیه پردازش می‌کند. این ابزار تحت مجوز متن‌باز Apache-2.0 همراه با کیت توسعه نرم‌افزار (SDK)، دموی آنلاین در Hugging Face و یک اندپوینت اختصاصی در سرویس fal منتشر شده است.

بررسی فنی و ویژگی‌های کلیدی

• کاربرد اصلی: تبدیل یک عکس تکی به مدل سه‌بعدی با تکنیک گوسیان (3DGS) با پشتیبانی از عکس‌های واقعی، رندرهای گرافیکی و تصاویر تولیدشده با هوش مصنوعی.
• فرایند پردازش: حذف خودکار پسزمینه، کادربندی بهینه شیء و پیش‌بینی حداکثر ۱٬۰۴۸٬۵۷۶ نقطه گوسی برای تشکیل مدل سه‌بعدی.
• سرعت و سخت‌افزار: مصرف حدود ۷٫۲ گیگابایت حافظه ویدئویی و سرعت پردازش زیر ۲ ثانیه روی کارت‌های گرافیک مصرفی.
• انکودرها: تحلیل تصویر از طریق دو مدل نیازمند تأیید، شامل مدل DINOv3 (نسخه ViT-H/16+) متعلق به متا و انکودر متغیر FLUX.2-dev VAE انجام می‌شود و کاربران برای اجرا باید توافقنامه کاربری آنها را در Hugging Face بپذیرند.
• مجوز انتشار: ارائه مدل اصلی Idol تحت مجوز کاملاً متن‌باز Apache-2.0.
• اکوسیستم و دسترسی: انتشار کدها در گیت‌هاب در آدرس speridlabs/idol-sdk، دموی فعال در فضای speridlabs/idol و دسترسی به API از طریق نشانی fal.ai/models/speridlabs/idol.
• استقبال کاربران: دموی پرطرفداری که تصاویر محصولات ایکیا را با کمک Idol و ایجنت‌های Hugging Face به آبجکت‌های سه‌بعدی تبدیل کرد و بازخورد گستردهای در شبکه‌های اجتماعی داشت.

چرا این دستاورد اهمیت دارد؟

تکنیک گوسیان اسپلتینگ به‌سرعت در حال تبدیل شدن به فرمت استاندارد فایل‌های سه‌بعدی برای نمایشگرهای وب، موتورهای بازی و واقعیت افزوده است. انتشار یک مدل پرسرعت و متن‌باز که تنها با یک تصویر کار می‌کند، به تولیدکنندگان اجازه می‌دهد عکس‌های کاتالوگ یا طرح‌های مفهومی تولیدشده را در مقیاسی گسترده به دارایی‌های سه‌بعدی کاربردی تبدیل کنند.

راهنمای گامبهگام استفاده

1. آزمایش آنلاین: استفاده از دموی آنلاین پلتفرم Hugging Face به نشانی speridlabs/idol یا اندپوینت سرویس fal در آدرس speridlabs/idol.
2. اجرای محلی: پذیرش شرایط کاربری مدل‌های facebook/dinov3-vith16plus-pretrain-lvd1689m و black-forest-labs/FLUX.2-dev، ورود از طریق دستور hf auth login و سپس نصب SDK از مخزن گیت‌هاب github.com/speridlabs/idol-sdk.
3. ورودی و خروجی: بارگذاری تصویر تکی از شیء و دریافت فایل نهایی گوسیان با فرمت .ply.
4. نمایش و ادغام: باز کردن فایل سه‌بعدی .ply در نرم‌افزارهای نمایشگر 3DGS نظیر SuperSplat یا ابزارهای تحت وب و درونریزی آن به موتورهای بازی و نرم‌افزارهای واقعیت افزوده.

شناسنامه مدل در نشانی huggingface.co/speridlabs/idol و صفحه اختصاصی پروژه در وب‌سایت رسمی به آدرس speridlabs.com/research/idol قرار دارد.