استارتاپ Poolside از مدل کدنویسی متنباز Laguna M.1 با ۲۲۵ میلیارد پارامتر رونمایی کرد

استارتاپ Poolside از مدل Laguna M.1 رونمایی کرد؛ مدلی تخصصی برای کدنویسی و توسعه عاملهای هوشمند در مهندسی نرم‌افزار که تحت مجوز آپاچی ۲.۰ (Apache 2.0) منتشر شده است. این مدل بر پایه معماری ترکیبی از متخصصان (MoE) ساخته شده و در مجموع ۲۲۵ میلیارد پارامتر دارد، اما در پردازش هر توکن تنها حدود ۲۳ میلیارد پارامتر را فعال میکند؛ رویکردی که مصرف توان پردازشی را بهشدت کاهش میدهد، هرچند برای اجرا در حافظه رم همچنان به بارگذاری کل وزن‌های مدل نیاز دارد.

• پنجره زمینه: ۲۶۲٬۱۴۴ توکن
• مجوز انتشار: آپاچی ۲.۰ (Apache 2.0)
• شیوه استقرار: اجرای محلی وزن‌ها روی سرور اختصاصی یا استفاده از رابط برنامه‌نویسی ابری Poolside
• حوزه کاری اصلی: انجام وظایف چندمرحلهای کدنویسی با استفاده از ابزارهای خط فرمان و ویرایش فایل

انتشار این مدل، گزینهای قدرتمند و متنباز را با قابلیت میزبانی شخصی در اختیار توسعهدهندگان قرار می‌دهد تا عاملهای هوشمند کدنویسی را در مقیاس مخازن بزرگ نرم‌افزاری پیادهسازی کنند؛ بهویژه برای سازمانهایی که بهدلیل الزامات امنیتی نمی‌توانند کدهای منبع خود را به سرویس‌های اختصاصی و بسته ارسال نمایند. علاوه بر این، شرکت Poolside نسخههای کالیبره و کوانتایزشده، ماژولهای سازگار با چارچوبهای اصلی استنتاج و جزئیات فنی مربوط به زیرساخت آموزشی این مدل را نیز منتشر کرده است.

پیش از معرفی مدل Laguna M.1، تمرکز استارتاپ Poolside عمدتاً بر ارائه راهکارهای هوش مصنوعی برای بخش‌های دولتی و عمومی، بهویژه محیطهایی با استانداردهای امنیتی بالا بود. این شرکت که توسط جیسون وارنر (Jason Warner)، مدیر ارشد فناوری سابق GitHub، هم‌بنیان‌گذاری شده است، مدل Laguna را نخستین دستاورد خود با وزن‌های باز (Open-weights) توصیف می‌کند.

۲۵۶ متخصص و ۲۳ میلیارد پارامتر فعال

مدل Laguna M.1 از یک ساختار ترنسفورمر ۷۰ لایه بهره میبرد. سه لایه ابتدایی آن از بلوکهای متراکم SwiGLU تشکیل شده، در حالی که ۶۷ لایه باقیمانده، لایه‌های تنک متخصصان (MoE) هستند که ۲۵۶ متخصص هدایتشونده و یک متخصص اشتراکی را در بر می‌گیرند. مسیریاب هوشمند مدل در زمان پردازش هر توکن، علاوه بر متخصص اشتراکی، ۱۶ متخصص تفکیکشده را انتخاب میکند؛ انتخابی بسیار گستردهتر از بازه معمول ۲ تا ۸ متخصص که در اغلب مدل‌های کنونی MoE دیده می‌شود.

• توجه سرتاسری (Global Attention): تمام لایه‌های مدل می‌توانند بدون نیاز به پنجره لغزان، به کل متن ورودی دسترسی داشته باشند و به آن توجه کنند.
• توجه کوئری گروهبندی‌شده (Grouped-Query Attention): این مدل دارای ۶۴ هد پرسش (Query) و ۸ هد کلید و مقدار (Key-Value) با ابعاد ۱۲۸ است؛ کاهش تعداد هدهای کلید و مقدار، مصرف حافظه کش را تا حد چشمگیری بهینه‌سازی می‌کند.
• گیت کنترل توجه (Attention Gating): یک گیت یادگیریپذیر با تابع Softplus، مقیاس خروجی هر هد توجه را تنظیم می‌کند.
• کدگذاری زمینههای طولانی: تعبیه موقعیت دورانی (RoPE) با بهکارگیری مقیاسبندی YaRN به مدل امکان می‌دهد پنجره زمینه را تا ۲۶۲٬۱۴۴ توکن مدیریت کند.
• تعادل مسیریاب: میزان استفاده و فعالسازی متخصصان بدون نیاز به جریمههای محاسباتی اضافی در تابع توزیع، به تعادل می‌رسد.

مکانیزم توجه سرتاسری به همه لایه‌ها امکان می‌دهد به کل توالی ورودی دسترسی داشته باشند، اما پرامپت‌های بسیار طولانی همچنان زمان پردازش اولیه (Prefill)، مصرف حافظه و هزینه محاسباتی توجه را افزایش میدهند؛ به همین دلیل، سقف اعلامشده برای پنجره زمینه نشاندهنده حداکثر ظرفیت معماری مدل است، نه یک استاندارد عملیاتی ثابت و پیشفرض برای تمام شرایط استقرار.