بایتدنس از مدل زبانی ۹ میلیاردی Cola2 رونمایی کرد؛ معماری متفاوتی برای تولید متن

معرفی مدل

مدل Cola2 جدیدترین دستاورد تیم پژوهشی Seed در شرکت بایتدنس به‌شمار می‌رود که به‌عنوان یک مدل زبانی با فضای نهان پیوسته (Continuous-Latent) توسعه یافته است. این معماری به‌طور هم‌زمان فشردهسازی معنایی و تولید متن گسسته را هماهنگ می‌کند: یک مدل VAE با فشردهسازی پویا، بخش‌هایی از متن را در قالب متغیرهای نهان پیوسته و فشرده کدگذاری می‌کند؛ سپس یک ترنسفورمر دیفیوژن (DiT) با حدود ۴ میلیارد پارامتر و ساختار علی بلوکی، این بلوک‌های نهان را از طریق روش Flow Matching تولید می‌کند و در نهایت یک رمزگشای توکن (Token Decoder) با استفاده از بازخورد نهان، توکن‌های گسسته نهایی را شکل می‌دهد تا پیوستگی میان تاریخچه‌های پیوسته و گسسته به‌خوبی حفظ شود. وزن‌های مدل در هاگینگ فیس، کدهای منبع در گیتهاب، مقاله علمی در آرکایو با شناسه 2610.31305 و صفحه رسمی پروژه در وب‌سایت رسمی Cola2 در دسترس قرار گرفته است.

مشخصات و نکات کلیدی انتشار رسمی در هاگینگ فیس:

• یک مدل پایه با حدود ۹ میلیارد پارامتر که هنوز برای گفتگو تنظیم دقیق نشده است.
• آموزش بر روی ۳۴۶٫۰۳ میلیارد توکن منبع، با ثبت میانگین امتیاز ۶۰٫۱۰ در هشت آزمون ارزیابی مختلف.
• نسخه منتشرشده یک چکپوینت پژوهشی و در حال همگرایی بر پایه معماری DiT محسوب می‌شود و جدول مقایس‌های آن در برابر مدل‌هایی مانند Llama-3-8B ارائه شده است.
• اجرای استنتاج نیازمند فعال بودن گزینه trust_remote_code=True است و تنظیمات پیش‌فرض مقاله شامل DiT اویلر هشت مرحله‌ای، ضریب هدایت بدون طبقهبندی (CFG) برابر ۱۰ برای DiT و مقدار ۰٫۹- برای دیکودر می‌شود.
• کدهای منبع در مخزن با مجوز Apache-2.0 عرضه شده‌اند و وزن‌ها و دارایی‌های متفرقه نیز مطابق فایل NOTICE در دسترس هستند.

تحلیل و بررسی

چرا این مدل اهمیت دارد؟

پروژه Cola2 فشردهسازی معنایی پیوسته، تولید متغیرهای نهان به سبک دیفیوژن و رمزگشایی گسسته توکن‌ها را در قالب یک محصول هماهنگ و متن‌باز از سوی تیم Seed ارائه می‌کند؛ مسیری ملموس و عملی که فراتر از رویکردهای صرفاً خودبازگشت (Auto-Regressive) سنتی گام برمیدارد.

خلاصه روش در یک جمله

در مرحله اول، انکودر و دیکودر توکن به‌صورت مشترک آموزش می‌بینند؛ در مرحله دوم، همگام با یاد‌گیری توزیع نهان توسط مدل DiT، فرآیند انطباق VAE ادامه می‌یابد؛ و در نهایت هنگام استنتاج، حلقه‌ای تکرارشونده شامل پیشنهاد متغیر نهان، رمزگشایی توکن‌ها و کدگذاری مجدد تحت چیدمان مشخص اجرا می‌شود.

محدودیت‌ها

• تولید متغیرهای نهان ماهیتی تصادفی و احتمالی دارد؛ از همین رو برای مقایسه دقیق نتایج، تعیین سید مشخص برای مولد تصادفی در torch.Generator ضروری است.
• این نسخه یک چکپوینت در حال همگرایی است و میانگین عملکرد آن در هشت آزمون هنوز از مدل‌های کاملاً آموزشدیده ۷ تا ۸ میلیاردی خودبازگشت یا LLaDA فاصله دارد.
• این نسخه صرفاً یک مدل پایه است و در حال حاضر به‌عنوان چت‌بات یا دستیار گفتگو بهکار نمی‌رود.

راهنمای استفاده

این مدل مناسب چه کسانی است؟

• پژوهشگران مدل‌های زبانی با فضای نهان پیوسته و شیوه‌های تولید متن مبتنی بر DiT و Flow Matching.
• تیم‌هایی که به دنبال بازتولید فرایند استنتاج Cola2 و اجرای بنچمارک‌های هشتگانه آن هستند.
• متخصصانی که قصد مقایسه پارادایم‌های نوین تولید متن نظیر مدل‌های خودبازگشت، LLaDA و رویکردهای دیفیوژن را دارند.

نحوه شروع به کار

1. دانلود مدل با دستور hf download ByteDance-Seed/Cola2 و اعتبارسنجی مقادیر در SHA256SUMS
2. بارگذاری مدل از طریق دستور AutoModel.from_pretrained(..., trust_remote_code=True) مطابق کارت مدل در هاگینگ فیس
3. کلون کردن مخزن رسمی در گیتهاب برای اجرای اسکریپت scripts/run_chat.sh و بنچمارک‌ها
4. توجه به ماهیت در حال همگرایی چکپوینت و استناد به میانگین سه اجرای تصادفی هنگام ارجاع به نتایج و امتیازها.