رونمایی استارتاپ Thinking Machines Lab از مدل Inkling 2 Small با ۵۹۴ میلیارد پارامتر

معرفی

مدل Inkling 2 Small پرچمدار نسل دوم آزمایشگاه هوش مصنوعی Thinking Machines Lab است که به‌تازگی معرفی شده است. جزئیات کامل این انتشار در گزارش رسمی Thinking Machines Lab در دسترس قرار دارد.

جایگاه محصول: یک مدل مبتنی بر معماری ترکیب متخصصان (MoE) که با هدف کدنویسی مبتنی بر ایجنت، بینایی ماشین، امور دانشی و استدلال طراحی شده است و از ورودی‌های تصویری و تنظیم سطح تلاش پردازشی پشتیبانی می‌کند.

نکات برجسته:

• مقیاس مدل: ۵۹۴ میلیارد پارامتر کل و ۱۷ میلیارد پارامتر فعال
• ارزیابی در شاخص‌های مستقل: کسب امتیاز حدود ۳۱ در بنچمارک Artificial Analysis Intelligence Index (در جداول رسمی این آزمایشگاه، امتیاز نسخه ۵.۰ شاخص AA معادل ۳۰.۶ گزارش شده است)
• پیشرفت‌های گسترده نسبت به نسل اول، به‌ویژه در انجام کارهای خودکار طولانی‌مدت، تولید محتوا با چرخه بازخورد بصری و کدنویسی مبتنی بر ایجنت
• هم‌اکنون در پلتفرم Tinker برای استنتاج و فاین‌تیون با وزن‌های بسته در دسترس است؛ انتشار کامل وزن‌ها تحت مجوز Apache 2.0 پس از انجام آزمایش‌های ایمنی خارجی و ارزیابی‌های تیم قرمز برنامه‌ریزی شده است
• کاربران می‌توانند همین امروز این مدل را در محیط آزمایشی Tinker Playground امتحان کنند.

توضیحات فنی و ضرورت توسعه

چالش موجود

تیم‌های فعال در حوزه مدل‌های با وزن‌باز به ظرفیت بالای مدل بدون نیاز به فعال‌سازی تمام پارامترها در هر لحظه نیاز دارند و در عین حال به دنبال مدل‌هایی هستند که به‌خوبی برای حلقه‌های واقعی ایجنت‌ها فاین‌تیون شوند. مدل Inkling 2 Small تعداد کل پارامترهای بالایی را با بودجه محاسباتی فعال بسیار کوچک‌تر ترکیب کرده و به‌طور ویژه روی وظایف ایجنت‌محور طولانی‌مدت آموزش دیده است.

نکات طراحی و آموزش

• پیش‌آموزش چندمرحله‌ای (شامل حدود ۸.۴ تریلیون توکن در مرحله اول) که به‌صورت بومی با دقت NVFP4 روی رک‌های پردازشی انویدیا GB300 اجرا شده است
• یک مرحله یاد‌گیری تقویتی (RL) یکپارچه: بیش از ۱۷ میلیون اجرای آزمایشی طی حدود ۹ روز روی ۲٬۰۴۸ پردازنده گرافیکی که حوزه‌های کدنویسی، کارهای اداری و دانشی، علوم پایه و مهندسی (STEM)، ساخت وب و اپلیکیشن، بینایی ماشین و استفاده از ابزارها را پوشش می‌دهد
• قابلیت بینایی ماشین از طریق یک انکودر حدود ۲۹۲ میلیون پارامتری به سبک Perception Encoder با ترکیب درهم‌تنیده قطعات تصویر و متن
• بهینه‌سازی‌شده برای شخصی‌سازی: این آزمایشگاه اعلام کرده است که مدل جدید در شرایط یکسان فاین‌تیون، سرعت یاد‌گیری بالاتر و عملکرد نهایی بهتری نسبت به مدل‌های پیشین خانواده Inkling ارائه می‌دهد.

محدودیت‌ها

• در ابتدا با وزن‌های بسته عرضه شده و انتشار تحت مجوز Apache 2.0 منوط به تکمیل بررسی‌های ایمنی است
• از پردازش صوت پشتیبانی نمی‌کند و تجربه کاربری چت روزمره، هدف اصلی بهینه‌سازی آن نبوده است
• معیارهای هم‌راستاسازی (Alignment) آن در برخی مجموعه‌های ارزیابی داخلی و خارجی همچنان پایین‌تر از مدل‌های پیشروی بسته قرار دارد.

کاربردها و نحوه استفاده

مخاطبان هدف

• تیم‌هایی که به استنتاج، نمونه‌برداری یا فاین‌تیون تخصصی روی پلتفرم Tinker نیاز دارند
• توسعه‌دهندگان و آزمایشگاه‌هایی که مدل‌های وزن‌باز در حوزه کدنویسی ایجنت‌محور، تولید بصری و امور دانشی را دنبال می‌کنند
• گروه‌هایی که منتظر دریافت چک‌پوینت‌های قابل دانلود پس از انتشار عمومی وزن‌ها هستند.

نحوه شروع کار

1. مطالعه مقاله رسمی معرفی مدل
2. آزمایش استنتاج مدل در محیط Tinker Playground و استفاده از پلتفرم Tinker برای فاین‌تیون و نمونه‌برداری
3. پیگیری انتشار وزن‌های مدل با مجوز Apache 2.0 و چک‌پوینت‌های قابل دانلود پس از اتمام آزمون‌های ایمنی
4. هنگام مقایسه آمارها توجه داشته باشید که ارزیابی‌های رسمی معمولاً با سطح تلاش پردازشی ۰.۹۹ (بسیار بالا)، دمای ۱.۰ و سقف مسیر پردازشی تا حدود ۱ میلیون توکن انجام شده‌اند.