بایدو مدل متن‌باز ERNIE-5.5-Flash-Base را با ۲۸۰ میلیارد پارامتر منتشر کرد

مقدمه

مدل زبانی ERNIE-5.5-Flash-Base جدیدترین چکپوینت پیشآموزشدیده از سری مدل‌های پیشرفته ERNIE 5.5 Flash شرکت بایدو به‌شمار می‌آید که به‌صورت عمومی معرفی شده است. این مدل بر پایه معماری کارآمد مخلوطی از متخصصان (MoE) طراحی شده است و با برخورداری از ۲۸۰ میلیارد پارامتر کل و فعال‌سازی حدود ۱۴ میلیارد پارامتر به ازای هر توکن، از پایه روی بیش از ۳۳٫۵ تریلیون توکن آموزش دیده است.

بایدو تأکید دارد که این انتشار صرفاً شامل مدل پایه پس از مرحله پیش‌آموزش است و هیچگونه تنظیمات میانی یا پساآموزشی روی آن اعمال نشده تا نقطه شروعی خالص برای سازگاری دامن‌های، تنظیم دستورالعمل‌ها و تحقیقات یاد‌گیری تقویتی باشد. فایل‌های وزنی این مدل در دو نسخه baidu/ERNIE-5.5-Flash-Base با دقت FP8 و نسخه baidu/ERNIE-5.5-Flash-Base-BF16 روی Hugging Face قرار گرفته‌اند و راهنماهای فنی اجرای آنها برای ابزارهای SGLang و vLLM ارائه شده است. طبق توضیحات ارائشده، نسخه مکالم‌های و استدلالی کامل ERNIE 5.5 Flash در تاریخی دیگر عرضه خواهد شد.

توضیحات تکمیلی

حل چالش توسعه مدل‌های بومی

مدل‌های خانواده ERNIE بایدو پیش از این عمدتاً به‌صورت رابط‌های برنامانویسی تجاری و بسته ارائه میشدند و متخصصان به یک نسخه پایه حجیم و کارآمد برای تنظیملحظ‌های دسترسی نداشتند. اکنون ERNIE-5.5-Flash-Base یک مدل عظیم با فعال‌سازی پراکنده MoE را در اختیار تیم‌های فنی می‌گذارد تا بدون نیاز به هزینه‌های سرسامآور آموزش از صفر، بتوانند تنظیم دقیق مبتنی بر نظارت و یاد‌گیری تقویتی را روی مجموعه‌دادههای سازمانی خود اجرا کنند.

نکات کلیدی معماری مدل

• برخورداری از ۴۳ لایه شامل یک لایه متراکم به‌همراه ۴۲ لایه MoE، اندازه بردار پنهان ۴۰۹۶ و واژگان گسترده با حدود ۲۰۱ هزار توکن.
• بهره‌گیری از مکانیزم توجه ترکیبی که بیشتر بر پایه HCA (توجه بسیار فشردهشده) استوار است و چندین لایه MLA-DSA را برای مدیریت بهتر زمینه‌های طولانی به کار می‌گیرد.
• ساختار MoE مجهز به ۵۱۲ کارشناس مسیریابیشده و یک کارشناس اشتراکی که در هر مرحله ۱۰ کارشناس برتر را فعال می‌کند؛ ضمن اینکه حدود ۳۶۰ میلیون پارامتر مربوط به رمزگشایی حدسی ECHO از محاسبات اولیه تفکیک شده است.
• پشتیبانی از پنجره زمینه تا ۱۲۸ هزار توکن در مرحله آموزش و امکان ارتقای آن تا سقف ۱ میلیون توکن برای استنتاج و تنظیم دقیق.

شرایط مجوز و محدودیت‌ها

• انتشار تحت پروانه اختصاصی ERNIE 5.5 Flash Base Model License انجام شده و با مجوز متن‌باز آپاچی تفاوت دارد. این مجوز محدودیت‌های جغرافیایی از جمله در اتحادیه اروپا، بریتانیا و کره جنوبی دارد و استفاده تجاری با درآمد سالانه بیش از ۵۰ میلیون دلار مستلزم اخذ موافقتنامه جداگانه و درج عبارت «Powered by ERNIE» خواهد بود.
• این نگارش یک مدل پایه است و رفتار چت‌باتهای آماده را ندارد؛ بنابراین مقایسه‌ها و نتایج سنجش عملکرد باید توسط پژوهشگران مستقل بازآزمایی شوند.
• بارگذاری و سرویسدهی این مدل به آرایه‌های محاسباتی چندکارت و زیرساخت استنتاج بهینه نیاز دارد.

کاربردها و گروه‌های هدف

این مدل مناسب چه کسانی است؟

• تیم‌های پژوهشی دانشگاهی و سازمانی که می‌خواهند یک مدل پایه بسیار بزرگ را با اطلاعات بومی و تخصصی خود آموزش تکمیلی دهند.
• توسعه‌دهندگان زیرساخت‌های هوش مصنوعی که در محیط‌های پردازشی خود از ابزارهای vLLM و SGLang بهره می‌برند.

مراحل آغاز به کار

1. مستندات و کارت مشخصات مدل در Hugging Face را به‌همراه بیانیه رسمی معرفی مدل مطالعه نمایید.
2. با توجه به مشخصات پردازنده گرافیکی خود یکی از نسخه‌های FP8 یا BF16 را برگزینید و با دستورات استنتاج SGLang یا vLLM فراخوانی کنید.
3. تنظیم دقیق دامن‌های و آزمایش‌های یاد‌گیری تقویتی را در چارچوب قوانین سرزمینی مجوز انجام دهید و بندهای حقوقی تجاری آن را بررسی کنید.
4. اگر صرفاً به یک دستیار هوشمند آماده برای گفتگو نیاز دارید، منتظر انتشار نسخه نهایی Flash بمانید.