شاهکار متن‌باز چینی‌ها؛ اَنت گروپ مدل ۵۶۰ میلیارد پارامتری Ling-3.1-flash را رایگان منتشر کرد!

شرکت نام‌آشنای اَنت گروپ (Ant Group) رسماً وزن‌های مدل هوش مصنوعی قدرتمند خود یعنی Ling-3.1-flash را به‌صورت عمومی منتشر کرد تا توسعه‌دهندگان بتوانند این غول پردازشی را مستقیماً روی سرور‌ها و زیرساخت‌های شخصی خود مستقر و اجرا کنند. این مدل با مجموعاً ۵۶۰ میلیارد پارامتر طراحی شده، اما به لطف معماری هوشمندانه «ترکیب متخصصان» (MoE)، در پردازش هر توکن تنها حدود ۲۵ میلیارد پارامتر را فعال می‌کند. نکته هیجان‌انگیزتر این‌که مدل مذکور از یک پنجره زمینه (Context Window) عظیم تا سقف یک میلیون توکن پشتیبانی می‌کند که امکان تحلیل یکپارچه اسناد طولانی و کد‌های سنگین را به ارمغان می‌آورد.

این عرضه عمومی پس از معرفی اولیه مدل انجام شده و حالا پشتیبانی رسمی از فریم‌ورک‌های محبوب استنتاج مثل SGLang و vLLM را هم به همراه دارد. تمرکز اصلی مدل Ling-3.1-flash روی اموری مانند برنامه‌نویسی پیشرفته، خودکارسازی فرآیند‌های ایجنتی (Agent Workflows) و وظایف حرفه‌ای سنگینی است که نیازمند هضم هم‌زمان فایل‌های پرحجم و تعامل بی‌وقفه با ابزار‌های خارجی هستند.

اما برگ برنده تیم فنی اَنت گروپ در مهندسی استقرار این مدل نهفته است؛ پژوهشگران این مجموعه با توسعه یک روش استقرار مبتنی بر دقت ترکیبی (Mixed-Precision)، موفق شدند حافظه مورد نیاز برای وزن‌های مدل را از حدود ۵۳۴ گیگابایت به ۲۹۲ گیگابایت برسانند. طبق گزارش رسمی ارائه‌شده روی پردازنده‌های گرافیکی معماری هاپر انویدیا (Nvidia Hopper)، این بهینه‌سازی شگفت‌انگیز تعداد پردازنده‌های مورد نیاز برای میزبانی مدل را از ۸ کارت به ۴ کارت کاهش داده و عملاً هزینه‌های سخت‌افزاری را به نصف رسانده است. برای بررسی جزئیات فنی و دسترسی به فایل‌های مدل می‌توانید به صفحه رسمی مدل در هاگینگ‌فیس (Hugging Face) مراجعه کنید.