استارتاپ Linum از مدل تبدیل متن به تصویر P-JiT 21K رونمایی کرد؛ آموزش کامل با ۲۱ هزار دلار

مقدمه

استارتاپ Linum مدل جدیدی برای تبدیل متن به تصویر با نام P-JiT 21K را به‌صورت متن‌باز در دسترس جامعه هوش مصنوعی قرار داد. این مدل با داشتن حدود دو میلیارد پارامتر، رویکردی نوآورانه در تولید مستقیم تصویر در فضای پیکسلی به کار گرفته است و انتشار آن نشان می‌دهد که می‌توان مدل‌های باکیفیت تصویری را با بودجه‌های بسیار محدود نیز آموزش داد.

توضیحات فنی مدل

بر خلاف اکثر مدل‌های جریان اصلی که از ترکیب رمزگذارهای متغیر خودکار (VAE) و ترنسفورمرهای انتشار (DiT) استفاده می‌کنند، مدل P-JiT 21K از معماری هرمی Pyramid-JiT بهره می‌برد. تمامی کدها و وزن‌های مدل تحت مجوز آزاد و متن‌باز Apache-2.0 در مخزن گیت‌هاب و پلتفرم Hugging Face منتشر شده‌اند تا پژوهشگران بتوانند نتایج آن را بازتولید و بررسی کنند.

چرا این موضوع اهمیت دارد؟

انتشار یک گزارش شفاف، مستند و قابل بازتولید از هزینه‌های آموزش همراه با وزن‌های قابل دانلود، سندی ملموس در بحث کاهش هزینه‌های ساخت مدل‌های تبدیل متن به تصویر به‌شمار می‌آید. کل فرآیند آموزش این مدل با صرف ۸ هزار و ۴۱۵ ساعت پردازش روی تراشه‌های شتاب‌دهنده H100 انویدیا، فقط حدود ۲۱ هزار دلار هزینه داشته است که این رقم در مقایسه با هزینه‌های میلیون دلاری مدل‌های تجاری دستاوردی چشمگیر محسوب می‌شود.

محدودیت‌ها

با وجود دستاوردهای فنی، مدل P-JiT 21K در تولید نماهای تمام‌قد، بازنمایی دقیق چندین سوژه مستقل، تعاملات پیچیده میان افراد و دانش عمومی جهان با چالش‌هایی روبرو است. هم‌چنین این مدل برای تولید تصاویر مطلوب به توصیف‌های متنی متراکم و بسیار دقیق نیاز دارد؛ به همین دلیل توسعه‌دهندگان یک ابزار بسط پرامپت (Upsampler) نیز درون مخزن کد گنجانده‌اند تا دستورات کاربر را به توصیف‌های غنی‌تر تبدیل کند.

نحوه استفاده

1. ابتدا مخزن رسمی پروژه را کلون کرده و پیش‌نیازها را نصب کنید: git clone https://github.com/Linum-AI/pjit-21k && pip install -e .
2. در نخستین اجرای اسکریپت، وزن‌های مدل و انکودر متنی Qwen3.5-4B به‌صورت خودکار از Hugging Face دانلود می‌شوند.
3. برای اجرای مدل به پردازنده گرافیکی با پشتیبانی از هسته‌های CUDA نیاز دارید؛ هم‌چنین می‌توانید با ارسال آرگومان --no_upsample از مرحله گسترش خودکار پرامپت صرف‌نظر کنید.
4. استفاده و توسعه این پروژه تحت مجوز آزاد و متن‌باز Apache-2.0 مجاز است.