مدل چندوجهی Inkling-Small معرفی شد؛ جای‌دادن غول ۲۷۶ میلیارد پارامتری روی یک کارت گرافیک

آزمایشگاه تینکینگ ماشینز (Thinking Machines Lab) وزن‌های مدل Inkling-Small را منتشر کرد؛ مدلی وزن‌باز و چندوجهی با قابلیت استدلال که در مجموع از ۲۷۶ میلیارد پارامتر تشکیل شده است و در هر توکن تنها ۱۲ میلیارد پارامتر فعال دارد. این مدل در شاخص هوش پایگاه Artificial Analysis امتیاز ۴۰ را ثبت کرده که با وجود استفاده از کمتر از یک‌سوم کل پارامترها و پارامترهای فعال، تنها یک امتیاز با نسخه اصلی و بسیار بزرگ‌تر Inkling فاصله دارد.

این مدل توانایی پردازش ورودی‌های متنی، تصویر و صدا را دارد، از سطوح مختلف تلاش برای استدلال (Reasoning Effort) پشتیبانی می‌کند و پنجره زمینه‌ای (کانتکست) تا سقف یک میلیون توکن را در اختیار کاربر می‌گذارد. تینکینگ ماشینز وزن‌های این مدل را تحت مجوز متن‌باز آپاچی ۲.۰ (Apache 2.0) منتشر کرده است که طبق شرایط مجوز، استفاده تجاری، تغییر در ساختار و بازنشر آن را کاملاً مجاز می‌داند.

مسیریابی بهینه‌تر متخصص‌ها با حفظ عملکرد نسخه بزرگ‌تر

نسخه اولیه Inkling از معماری ترکیب متخصص‌ها (MoE) با ۹۷۵ میلیارد پارامتر بهره می‌برد که ۴۱ میلیارد پارامتر آن برای پردازش هر توکن فعال می‌شد. مدل Inkling-Small این اعداد را به ۲۷۶ میلیارد پارامتر کل و ۱۲ میلیارد پارامتر فعال کاهش داده و حجم پارامترهای فعال را در لحظه پاسخگویی حدود ۷۱ درصد پایین آورده است.

مدل‌های مبتنی‌بر معماری ترکیب متخصص‌ها لایه‌های پیش‌خور (Feed-Forward) خود را به زیرشبکه‌های تخصصی به نام «متخصص» (Expert) تقسیم می‌کنند. مدل Inkling-Small هر توکن را تنها از میان ۶ متخصص انتخابی (از مجموع ۲۵۶ متخصص موجود) به‌همراه ۲ متخصص اشتراکی عبور می‌دهد؛ بنابراین برای هر توکن، کل ۲۷۶ میلیارد پارامتر به کار گرفته نمی‌شوند. این طراحی بار محاسباتی در لحظه پاسخگویی (استنتاج) را به‌شدت کاهش می‌دهد، در حالی که ظرفیت یادگیری عظیم مدل دست‌نخورده باقی می‌ماند.

این ترنسفورمر فقط دیکودر از ۴۲ لایه تشکیل شده است و برای مدیریت هزینه‌های پردازش کانتکست‌های طولانی، مکانیزم‌های توجه محلی و توجه سراسری را به‌شکل یک‌درمیان به کار می‌گیرد. یک انکودر سلسله‌مراتبی پچ‌ها وظیفه تبدیل تصویرها به بازنمایی‌های قابل‌فهم برای مدل را برعهده دارد و هم‌زمان یک توکنایزر صوتی، ورودی‌های صدا را به توکن‌های گسسته تبدیل می‌کند. هر دو نوع داده وارد فضای نهفته مشترکی با متن می‌شوند و دیکودر امکان پردازش هم‌زمان آن‌ها را پیدا می‌کند. فرآیند آموزش این مدل نیز روی سیستم‌های پیشرفته انویدیا GB300 NVL72 انجام شده است.

درخشش در کدنویسی و استفاده از ابزارها

طبق گزارش تینکینگ ماشینز، مدل Inkling-Small در چندین بنچمارک مربوط به کدنویسی، عملکرد ایجنت‌ها و آزمون‌های استدلالی، شانه به شانه مدل اصلی حرکت کرده یا حتی از آن پیشی گرفته است: