مدل متن‌باز SenseNova-Loop-9B معرفی شد؛ دو برابر عمق پردازش بدون افزایش حافظه

معرفی

مدل SenseNova-Loop-9B (که با عنوان SenseNova-Loop-9B-Preview عرضه شده) یک مدل زبانی چندوجهی با وزن‌های باز است که توسط تیم SenseNova در شرکت SenseTime در تاریخ ۳۰ اکتبر ۲۰۲۶ و تحت مجوز Apache-2.0 منتشر شد. ایده کلیدی و متمایزکننده این مدل، بهره‌گیری از دیکودر چرخ‌های (Looped Decoder) است؛ به این صورت که به‌جای انباشتن مداوم لایه‌های جدید، یک بلوک پیوسته از لایه‌های دیکودر دو بار پیاپی با وزن‌های مشترک اجرا می‌شود. این سازوکار به مدل اجازه می‌دهد بدون دوبرابر کردن حجم پارامترها و حافظه، مسیر محاسباتی بسیار عمیق‌تری را برای پردازش اطلاعات طی کند.

این مدل توانایی دریافت هم‌زمان متن و تصویر و تولید متن را دارد و به‌طور ویژه برای جریان‌های کاری عاملمحور و متون بسیار طولانی طراحی شده است؛ کاربردهایی نظیر درک اسناد پیچیده، برنامه‌نویسی، تحلیل داده، طراحی اسلاید و پرزنتیشن، و فراخوانی ابزارهای مختلف. شرکت SenseTime اعلام کرده است که طبق آزمون‌های داخلی، این مدل ۹ میلیارد پارامتری در وظایف کدنویسی، امور اداری و عامل‌های هوشمند، مدل‌های متراکم بسیار بزرگ‌تری مانند Qwen 3.5 27B را شکست می‌دهد.

تحلیل فنی

نکات کلیدی

1. بلوک چرخ‌های (Looped Block): لایه‌های ۰ تا ۳ یکبار اجرا می‌شوند، سپس لایه‌های ۴ تا ۲۷ (شامل ۲۴ لایه) دو بار پشت سر هم و با همان وزن‌های یکسان اجرا میگردند، و در نهایت لایه‌های ۲۸ تا ۳۱ به‌همراه سر خروجی پردازش را تکمیل می‌کنند. در نتیجه، این معماری در ازای ۳۲ لایه ذخیرهشده مجزا، ۵۶ بار اجرای لایه را در هر چرخه پیشرو فراهم می‌آورد.
2. اتصال‌های دوگانه mHC: سازوکار ابراتصال‌های مقید به چندگونگی (mHC) وظیفه مسیریابی و ادغام اطلاعات را میان دو جریان باقیمانده در بخش چرخ‌های بر عهده دارند و پایداری محاسبات تکرارشونده را تضمین می‌کنند.
3. توجه هیبریدی (Hybrid Attention): لایه‌های توجه خطی و توجه کامل به‌صورت یک الگوی تکرارشونده چهارلای‌های با هم ترکیب شده‌اند تا هزینه محاسباتی پردازش بافت‌های طولانی در سطحی بهینه و مهارپذیر حفظ شود.
4. مقیاس و حجم پارامترها: مدل حدود ۹ میلیارد پارامتر ذخیرهشده در حافظه دارد که معادل عملکرد تقریبی ۱۴٫۶ میلیارد «پارامتر استنتاجی» است؛ هم‌چنین بدنه اصلی آن بر پایه دقت BF16 و پارامترهای مسیریابی بر پایه دقت FP32 پیاده‌سازی شده‌اند.
5. بافت متنی طولانی (Long Context): برنامه آموزشی مدل شامل متن، تصویر، کد و مسیر عملکرد ابزارها با پنجره بافتی حداکثر تا ۲۶۲٬۱۴۴ توکن است.
6. شتابدهی در استنتاج: قابلیت پیش‌بینی هم‌زمان چند توکن (MTP) هم‌اکنون در مدل فعال است و دیکودرهای حدسی Dspark و Dflash2 نیز مراحل آموزش خود را سپری می‌کنند.

چرا این دستاورد مهم است؟

ترنسفورمرهای با عمق بازگشتی یا چرخ‌های، راهکاری هوشمندانه برای تبادل میان توان محاسباتی و تعداد پارامترها هستند؛ یعنی مدلی چابک که در ازای هر توکن، عملاً دو بار فکر می‌کند. مدل SenseNova-Loop یکی از نخستین نمونه‌های متن‌باز و آماده کاربرد تجاری بر پایه این ایده است که از سوی یک آزمایشگاه بزرگ عرضه می‌شود. این موضوع هم برای تحقیقات روی روش‌های استدلال بهینه از نظر پارامتر اهمیت بالایی دارد و هم به تیم‌های فنی امکان می‌دهد مدلی سبک، چندوجهی و عاملمحور را روی سرورهای اختصاصی خود مستقر کنند.

نحوه استفاده و اجرا

راهنمای گامبهگام

1. وزن‌های مدل را می‌توانید از صفحه مدل در Hugging Face دریافت کنید؛ هم‌چنین کدهای پروژه در مخزن GitHub به نشانی OpenSenseNova/SenseNova-Loop در دسترس است.
2. برای بارگذاری مدل در کتابخانه Transformers از پارامتر trust_remote_code استفاده کنید (زیرا ساختار چرخ‌های آن به‌عنوان یک پیاده‌سازی اختصاصی عرضه شده است) و برای دستیابی به بالاترین کارایی، توصیه‌های محیط استقرار مندرج در شناسنامه مدل را رعایت فرمایید.
3. در صورت پشتیبانی سخت‌افزار و بستر اجرایی، سازوکار پیش‌بینی چندتوکنی (MTP) را برای افزایش سرعت استنتاج فعال کنید.
4. کاربردهای بسیار مناسب: پرسش و پاسخ روی اسناد طولانی، تحلیل چندوجهی داده‌ها، دستیار کدنویسی، عامل‌های طراحی اسلاید و موشن، و فراخوانی ابزارهای متوالی با اجرای روان روی یک پردازنده گرافیکی (GPU) منفرد.
5. توجه داشته باشید که این نسخه به‌صورت پیش‌نمایش (Preview) ارائه شده و گزارش فنی تکمیلی و ادغام رسمی آن در Transformers بهزودی منتشر می‌شود؛ بنابراین توصیه می‌شود پیش از استفاده در محیط‌های عملیاتی حساس، آن را در وظایف خاص خود ارزیابی کنید.