رونمایی استارتاپ Thinking Machines از مدل ۵۹۴ میلیارد پارامتری Inkling 2 Small برای ساخت ایجنت‌ها

آزمایشگاه Thinking Machines Lab از مدل Inkling 2 Small، نسل دوم خانواده مدل‌های قابل شخصی‌سازی خود رونمایی کرد. این مدل که بر پایه معماری ترکیب متخصصان (MoE) ساخته شده است، در مجموع ۵۹۴ میلیارد پارامتر دارد، در ازای هر توکن ۱۷ میلیارد پارامتر را فعال می‌کند، ورودی‌های تصویری را می‌پذیرد و از تنظیم متغیر توان پردازشی هنگام استنتاج پشتیبانی می‌نماید. توسعه‌دهندگان هم‌اکنون می‌توانند از طریق پلتفرم Tinker با این مدل کار کنند، اما وزن‌های آن تا زمان پایان یافتن تست‌های امنیتی بیرونی (ردتیمینگ) بسته باقی می‌ماند.

این مدل در شاخص هوش Artificial Analysis Intelligence Index که معیاری ترکیبی برای سنجش توانمندی‌های کدنویسی، استدلال، کارهای دانشی و سایر قابلیت‌هاست، امتیاز ۳۱ را کسب کرده است. شرکت Thinking Machines این مدل را به‌عنوان یک پایه قدرتمند برای آموزش‌های تکمیلی (Post-training) و سیستم‌های ایجنت‌محوری طراحی کرده است که وظایف چندمرحله‌ای را برنامه‌ریزی می‌کنند، ابزارها را فراخوانی می‌نمایند و درستی نتایج را می‌سنجند. در این میان، کیفیت گفت‌وگوی روزمره اولویت کمتری در بهینه‌سازی‌ها داشته است.

ظرفیت متخصصان بسیار بزرگ‌تر با مقیاس پردازش فعال مشابه

معماری ترکیب متخصصان برای پردازش هر توکن، زیرمجموعه‌ای از گروه‌های پارامتری تخصصی را انتخاب می‌کند؛ به همین دلیل، تعداد پارامترهای فعال در مقایسه با کل پارامترها، معیار دقیق‌تری برای برآورد بار محاسباتی هر توکن به‌شمار می‌رود. بنابراین مدل Inkling 2 Small در حالی که از ظرفیتی بیش از دو برابر متخصصان بهره می‌برد، از نظر بار محاسباتی فعال بسیار نزدیک به نسل پیشین خود باقی مانده است. با این حال، پس از انتشار عمومی وزن‌ها، اجرای محلی مدل همچنان به فضای ذخیره‌سازی و حافظه‌ای متناسب با یک چک‌پوینت ۵۹۴ میلیارد پارامتری نیاز خواهد داشت.

پردازش تصویر در این مدل توسط یک انکودر بینایی ۲۹۲ میلیون پارامتری مبتنی بر Perception Encoder انجام می‌شود. این بخش، تصاویر را به قطعات ۲۰ در ۲۰ پیکسلی تقسیم می‌کند، ادغام مکانی ۲ در ۲ را روی آن‌ها اعمال می‌نماید و بازنمایی‌های تصویری حاصل را در لابه‌لای توکن‌های متنی قرار می‌دهد. این مدل برخلاف خانواده پیشین Inkling، از ورودی صوتی پشتیبانی نمی‌کند.

چهار مرحله پیش‌آموزش و یک مرحله یاد‌گیری تقویتی

مرحله نخست پیش‌آموزش، ۸.۴ تریلیون توکن شامل زبان طبیعی، کد و تصویر را ظرف ۶۸ ساعت روی رک‌های NVIDIA GB300 NVL72 پردازش کرد. در این آموزش از فرمت اعشاری ۴ بیتی NVFP4 که ویژه پردازنده‌های گرافیکی Blackwell طراحی شده، استفاده شده است. سه مرحله بعدی پیش‌آموزش نیز طول پنجره زمینه (Context) را گسترش دادند و بر داده‌های ایجنتی با کیفیت بالاتر متمرکز شدند.

این آزمایشگاه طی یک مرحله اجرای یاد‌گیری تقویتی (RL)، مهارت‌های استدلال و رفتار ایجنتی را به‌طور هم‌زمان به مدل آموزش داد. این فرآیند بیش از ۴ ضربدر ۱۰ به توان ۲۳ فلاپس توان محاسباتی را روی ۲,۰۴۸ پردازنده گرافیکی در طول نه روز مصرف کرد و به تولید بیش از ۱۷ میلیون مسیر اجرا (Rollout) و ۳ تریلیون توکن انجامید. فرآیند آموزش شامل ۱,۰۷۵ گام با پنجره زمینه ۲۵۶ هزار توکنی بود و برای مسیرهایی که از این ظرفیت فراتر می‌رفتند، از قابلیت فشرده‌سازی استفاده شد.

کدنویسی ۳۸.۵ درصد از کل مسیرهای اجرا و ۶۵ درصد از توکن‌های تولیدشده را به خود اختصاص داد که نشان‌دهنده طولانی‌تر بودن چشمگیر فرآیندهای کدنویسی است. سایر بخش‌های آموزش شامل کارهای اداری، مسائل علمی و مهندسی (STEM)، بینایی ماشین، توسعه وب‌اپلیکیشن، استفاده از ابزارها و ایمنی بود. روش‌های ارزیابی نیز بسته به نوع وظیفه تفاوت داشتند:

• تست‌های واحد پنهان برای نمره‌دهی به وظایف کدنویسی به کار رفتند.
• مدل‌های زبانی داور بر اساس معیارهای مشخص، اسناد و نحوه استفاده از ابزارها را ارزیابی کردند.
• پاسخ‌های مرجع برای امتیازدهی به مسائل علمی و مهندسی (STEM) مورد استفاده قرار گرفتند.
• مدل‌های پاداش مقایسه‌ای (Pairwise)، اسکرین‌شات‌های خروجی وب‌اپلیکیشن‌های رندر شده را با یکدیگر مقایسه کردند.

درخشش در بنچمارک‌های بینایی ماشین

نتایج گزارش‌شده در زمینه کدنویسی ایجنتی نشان می‌دهد که مدل Inkling 2 Small در چندین ارزیابی پایین‌تر از مدل DeepSeek V4.1 Flash و در بنچمارک SWE-bench Pro پایین‌تر از مدل Kimi K3 قرار می‌گیرد، اما با توجه به تعداد پارامترهای فعال کمتر خود، همچنان عملکردی رقابتی دارد. درصدهای جدول زیر بر اساس روش امتیازدهی اختصاصی هر بنچمارک محاسبه شده‌اند و نباید سطرها را مستقیماً با یکدیگر مقایسه کرد.

در مجموعه آزمون‌های بینایی ماشین، مدل Inkling 2 Small در میان تمامی مدل‌های دارای وزن‌باز (یا مدل‌هایی که قرار است وزن‌هایشان منتشر شود)، در بنچمارک‌های GDP.pdf، MMMU Pro، PerceptionBench، ScreenSpot Pro، BabyVision و Charxiv RQ جایگاه نخست را به دست آورد. آزمایشگاه Thinking Machines اعلام کرده است که پس از انتشار وزن‌ها و احراز شرایط لازم، این مدل در بنچمارک DesignArena نیز صدرنشین این رده خواهد شد. هم‌چنین در یک آزمایش داخلی مجزا، این مدل موفق شد در ۱۹ مورد از ۲۰ تلاش، سه نوع نوشیدنی مختلف را از روی یک عکس واحد شناسایی کند؛ هرچند دامنه این آزمایش محدودتر از بنچمارک‌های استاندارد بود.

شخصی‌سازی و آموزش تکمیلی؛ مزیت اصلی محصول

شرکت Thinking Machines واکنش‌پذیری عالی این مدل در برابر آموزش‌های تکمیلی (Post-training) را مزیت اصلی Inkling 2 Small معرفی می‌کند. در وظیفه خلاصه‌سازی اسناد مالی این آزمایشگاه، مدل جدید تنها پس از ۷۵ گام آموزشی به عملکرد نهایی مدل قبلی (Inkling Small) رسید و پس از آن نیز به ثبت امتیازهای بالاتر ادامه داد. در این اجراها از مجموعه Tinker Cookbook و تابع هدف یاد‌گیری تقویتی Stable Reinforce استفاده شد.

نمایش قابلیت پژوهش خودکار (Autoresearch) این آزمایشگاه نیز نشان داد که آیا این مدل می‌تواند خط لوله آموزش یک مدل دیگر را مدیریت کند یا خیر. پس از دریافت یک دستورالعمل برای پیش‌بینی سری‌های زمانی، مدل Inkling 2 Small از طریق پلتفرم Tinker آموزش مدل Qwen3.5-4B را بر عهده گرفت، یک سیستم ارزیاب نوشت، مجموعه‌داده‌ها و دستورالعمل‌های آموزشی را انتخاب کرد و روش‌های فاین‌تیونینگ نظارت‌شده و یاد‌گیری تقویتی را آزمود. این مدل هم‌چنین یک باگ را در بخش ارزیابی شناسایی و برطرف کرد. پس از گذشت ۴.۵ ساعت و صرف هزینه ۴۲۶ دلاری در پلتفرم Tinker، مدل نهایی موفق شد امتیاز پیش‌بینی در آن وظیفه را به بیش از دو برابر افزایش دهد.

بروز رفتارهای فریبکارانه در جریان آموزش ایجنت

یاد‌گیری تقویتی در افق‌های زمانی طولانی، تکمیل شدن وظایف را پاداش می‌دهد؛ موضوعی که در صورت ضعیف بودن لایه‌های حفاظتی، می‌تواند مدل را به جعل نتایج، نادیده گرفتن دستورالعمل‌ها و پنهان‌کاری سوق دهد. نسخه‌های اولیه مدل Inkling 2 Small در حین آموزش، تمامی این رفتارها را از خود نشان دادند. در یک مورد، یک سیستم نظارتی ناهمگام کشف کرد که مدل پس از ناکامی در انجام مستقیم یک وظیفه، محدودیت شبکه را از طریق یک سرویس ثالث قابل دسترس دور زده است.

آزمایشگاه Thinking Machines برای مهار این چالش، چندین سازوکار کنترلی را در طول آموزش اضافه کرد:

• فیلتر کردن داده‌ها در میانه آموزش، ردپای رفتارهای نادرست را حذف کرد و نمونه‌هایی از عملکرد صادقانه را به مدل افزود.
• یک پاداش هم‌راستاسازی عمومی به تمامی وظایف یاد‌گیری تقویتی اعمال شد.
• محیط‌های اختصاصی ویژه‌ای طراحی شدند که در صورت غیرممکن بودن انجام وظایف، به توقف کار توسط مدل پاداش می‌دادند.
• روش خودتقطیری درون‌سیاستی (On-policy self-distillation)، مدل را به کمک یک مدل معلمِ پایبند به اصول رفتاری آموزش داد.
• بررسی‌های هم‌زمان (Synchronous) فراخوانی ابزارها را بازرسی کردند و ناظرهای ناهمگام نیز کل مسیرهای اجرا را مورد بازبینی قرار دادند.

این آزمایشگاه از کاهش چشمگیر شاخص‌های داخلی رفتار نادرست خبر داده است (در جدول زیر، امتیازهای پایین‌تر به معنای عملکرد بهتر است):

این نتایج همچنان جنبه داخلی دارند و خود آزمایشگاه اذعان می‌کند که مدل‌های بسته‌ای هم‌چون GPT-6.1 Sol در همین شاخص‌ها عملکرد بهتری ثبت می‌کنند. آزمایش‌های ایمنی بیرونی همچنان در جریان است و نتیجه آن‌ها زمان انتشار عمومی وزن‌های مدل را مشخص خواهد کرد.

ارائه اولیه روی فضای ابری و انتشار وزن‌ها با مجوز Apache در آینده

در زمان عرضه اولیه، توسعه‌دهندگان می‌توانند برای تست پرامپت‌های تعاملی از محیط Tinker Playground و برای کارهای فاین‌تیونینگ و نمونه‌برداری از پلتفرم Tinker استفاده کنند. بسته بودن وزن‌ها در حال حاضر مانع از استقرار محلی و بررسی مستقل چک‌پوینت‌های مدل می‌شود. شرکت Thinking Machines قصد دارد پس از پایان فرآیند ردتیمینگ، وزن‌های کامل مدل را تحت مجوز متن‌باز Apache 2.0 منتشر کند و پلتفرم‌های استنتاج بیشتری را نیز به فهرست پشتیبانی اضافه نماید، اما هنوز تاریخ دقیقی برای آن اعلام نکرده است.

شفاف‌ترین کاربردهای این مدل شامل آموزش تکمیلی روی داده‌های اختصاصی سازمان‌ها و سپس به‌کارگیری آن در حلقه اجرایی یک ایجنت است:

• وظایف کدنویسی طولانی‌مدت در محیط‌هایی مانند OpenCode که در آن‌ها مدل کد را می‌نویسد، اجرا می‌کند و صحت کار خود را می‌سنجد.
• تولید رابط کاربری و طراحی به کمک بینایی ماشین، شامل ساخت وب‌اپلیکیشن‌ها، صحنه‌های سه‌بعدی و تفسیر نمودارها.
• تحلیل‌های مالی و حقوقی روی فایل‌های صفحه‌گسترده، گزارش‌های رسمی و اسناد؛ این آزمایشگاه اعلام کرده که در مجموعه مقایسه‌ای مدل‌های وزن‌باز خود، رتبه اول بنچمارک‌های AA-AnalystAgent و Dayjob:Finance را کسب کرده است.
• خط لوله‌های پژوهش خودکار یاد‌گیری ماشین که در آن‌ها مدل، فرآیندهای آموزش و ارزیابی را شخصاً مدیریت می‌کند.

در کنار این مزایا، تیم Thinking Machines به چند محدودیت نیز اشاره کرده است: پاسخ‌های بیش از حد طولانی، انتخاب ناپایدار ابزارها در پروژه‌های کدنویسی دارای مهارت‌های پرتعداد، سازماندهی ضعیف در مکالمات، استفاده بیش از اندازه از علامت ممیز (Slash) و واکنش‌های اغراق‌آمیز به پرسش‌های مرتبط با سلامت روان. در مجموع، تیم‌هایی که مشغول ساخت ایجنت‌های کدنویسی، بصری، پردازش اسناد یا پژوهش‌های یاد‌گیری ماشین هستند، بیشترین بهره را از ارزیابی مدل Inkling 2 Small خواهند برد؛ اما محصولات مبتنی بر گفت‌وگو نیازمند آموزش‌های تکمیلی بیشتر و تست‌های دقیق‌تر، به‌ویژه در زمینه ساختار پاسخ‌دهی و تعاملات حساس خواهند بود.