کیوتای مدل رباتیک REKI را منتشر کرد؛ مغز ۲٫۴ میلیاردی با عملکردی بهتر از رقبای بزرگ‌تر

کیوتای از مدل رباتیک REKI با حافظه کش‌شده و ۲٫۴ میلیارد پارامتر رونمایی کرد

آزمایشگاه کیوتای از مدل جدید REKI رونمایی کرده است؛ یک مدل بینایی-زبان-عمل (VLA) با ۲٫۴ میلیارد پارامتر که منحصراً با مجموعه‌داده‌های عمومی آموزش دیده است. یک مدل VLA تصاویر دریافتی از دوربین‌ها، دستورات به زبان طبیعی و وضعیت فیزیکی ربات را دریافت کرده و آن‌ها را به اقدامات حرکتی قابل اجرا تبدیل می‌کند. طبق ارزیابی‌های کیوتای، REKI عملکردی همتراز یا حتی بهتر از چندین مدل با دو برابر اندازه خود نشان داده است؛ مدل‌هایی که حتی برخی از آن‌ها با داده‌های رباتیک اختصاصی پیش‌آموزش دیده‌اند.

کیوتای تمام ابزارها و پشته فنی این پروژه را از طریق مخزن کد منبع خود منتشر کرده است که شامل آماده‌سازی و پالایش داده‌ها، کدهای آموزش، استنتاج، ارزیابی، استقرار در محیط عملیاتی و همچنین وزن‌های پیش‌آموزش‌دیده و فاین‌تیون‌شده می‌شود. نوآوری محوری در معماری REKI، انتقال حافظه زمانی به داخل سر پردازش عملکرد (Action Head) است؛ رویکردی که بدون افزایش محسوس تأخیر پردازش، خطاهای ناشی از تکرار بی‌هدف حرکات را به حداقل می‌رساند.

داده‌های عمومی و ابعاد جمع‌وجور

بررسی نتایج در بنچمارک‌های LIBERO-Plus، RoboTwin Clean2Rand و RoboCasa365 نشان می‌دهد مدل‌هایی که امتیازی بالاتر از REKI کسب کرده‌اند، معمولاً ابعادی حدود دو برابر آن دارند. کیوتای این دستاورد را ایجاد تعادلی کارآمدتر و بهینه‌تر میان اندازه مدل و عملکرد آن در بنچمارک‌ها توصیف می‌کند.

بنچمارک LIBERO-Plus پایداری و تاب‌آوری ربات را در برابر تغییر زاویه دوربین، شرایط نورپردازی، دستورات زبانی، پس‌زمینه و چیدمان محیط می‌سنجد. بنچمارک RoboTwin Clean2Rand صحنه‌های شبیه‌سازی‌شده را از شرایط آموزشی مرتب و تمیز به محیط‌های تصادفی و متغیر تغییر می‌دهد و RoboCasa365 نیز مهارت ربات را در کارهای روزمره خانه ارزیابی می‌کند. البته این آمارها حاصل ارزیابی‌های داخلی تیم کیوتای است و باید منتظر تأیید آن‌ها در آزمایش‌های مستقل پژوهشگران دیگر ماند.

انتقال حافظه به داخل سر پردازش عملکرد

بسیاری از مدل‌های VLA زمینه زمانی (تاریخچه فریم‌ها) را با ارسال فریم‌های قبلی از طریق ستون فقرات مدل بینایی-زبان، باز کردن مکرر مدل حین آموزش یا افزودن یک شبکه حافظه جداگانه تأمین می‌کنند. این رویکردها هزینه آموزش، تأخیر در لحظه پاسخگویی (استنتاج) یا هر دو را به‌شدت افزایش می‌دهند.

مدل REKI به هر فریم ۳۲ توکن رجیستر یادگرفته‌شده اختصاص می‌دهد و آن‌ها را پیش از توکن‌های عملکرد (Action Tokens) قرار می‌دهد. این رجیسترها از طریق توجه متقاطع به خروجی مدل بینایی-زبان و از طریق خودتوجهی به رجیسترهای فریم‌های پیشین متصل می‌شوند. رجیسترها نمی‌توانند به توکن‌های عملکرد دسترسی داشته باشند؛ بنابراین کلیدها و مقادیر آن‌ها کاملاً مستقل از توالی حرکات تولیدشده باقی می‌ماند و به‌راحتی کش می‌شود.

به این ترتیب، هر فریم دریافتی از دوربین تنها یک بار از ستون فقرات مدل بینایی-زبان عبور می‌کند. مدل REKI حافظه فریم را در نخستین مرحله بهینه‌سازی حرکت محاسبه کرده و سپس از رجیسترهای کش‌شده در مراحل بعدی و فریم‌های آینده دوباره استفاده می‌کند. این رجیسترها همچنین مستقل از زمان جریان و وضعیت لحظه‌ای ربات باقی می‌مانند.

میزان بار اضافی کش در عمل

• تأخیر زمانی: با در نظر گرفتن زمینه ۳ فریمی و دریافت ورودی از دو دوربین با وضوح ۲۵۶ در ۲۵۶ پیکسل، REKI یک بسته عملکردی (Action Chunk) را تنها در ۲۱٫۸ میلی‌ثانیه روی یک پردازنده H100 پیش‌بینی می‌کند؛ در این میان، خواندن رجیسترهای کش‌شده فقط ۰٫۱ میلی‌ثانیه زمان می‌برد.
• مصرف حافظه: هر فریم کش‌شده از گذشته حدود ۲ مبی‌بایت از حافظه گرافیکی (GPU) را اشغال می‌کند.
• بار محاسباتی: حافظه رجیسترها برای هر فریم تنها یک بار و در اولین گام از بهینه‌سازی حرکت محاسبه می‌شود.

کاهش چرخه‌ها و حرکات تکراری در کارهای طولانی

یک سیاست رباتیک بدون حافظه ممکن است مدام میان دو حالت با ظاهر مشابه در نوسان باشد؛ وضعیتی که وقتی رخ می‌دهد که هر مشاهده حسی به نمونه‌های آموزشیِ مربوط به حرکت به سمت حالت دیگر شبیه باشد. پژوهشگران کیوتای این رفتار رفت‌وبرگشتی را به خطای ادراکی نسبت می‌دهند؛ پدیده‌ای که در آن بخش‌های کاملاً مجزا از یک کار برای مدل یکسان به نظر می‌رسند.

در آزمایش‌های RoboTwin، میزان نوسانات رفت‌وبرگشتی از ۱۸٫۶ درصد در حالت بدون حافظه، به ۴٫۱ درصد در زمان استفاده از کش رجیستر REKI کاهش یافت. بیشترین میزان بهبود در سناریوهای مجهز به دو بازوی رباتیک مشاهده شد؛ جایی که هماهنگی میان دو بازو وابستگی شدیدی به تاریخچه حرکات قبلی دارد.

کیوتای همچنین مدل REKI را روی یک بازوی فیزیکی UR5 با استفاده از ۵۰ بار نمایش حرکتی برای هر کار فاین‌تیون کرد. این آموزش روی یک سرور واحد تنها حدود یک ساعت زمان برد و مکانیزم حافظه بیشترین بازدهی و بهبود خود را در کارهای طولانی‌تر و چندمرحله‌ای نشان داد.

مدل دومرحله‌ای با یک پردازش دسته‌ای

مدل REKI از ستون فقرات بینایی-زبان Qwen3.5-2B در کنار یک ماژول متخصص عملکرد (Action Expert) ۲۰۰ میلیون پارامتری با روش تطبیق جریان (Flow Matching) بهره می‌برد. هر بلوک از این ماژول متخصص، از طریق توجه متقاطع به زمینه دیداری و متنی متصل می‌شود و ماژول Adaptive RMSNorm نیز وضعیت لحظه‌ای ربات و گام زمانی جریان را به شبکه تزریق می‌کند.

روش تطبیق جریان به متخصص عملکرد یاد می‌دهد نویز تصادفی را به توالی منسجمی از دستورات حرکتی ربات تبدیل کند. در لحظه پاسخگویی (استنتاج)، این متخصص به‌شکل تکرارشونده توالی را صیقل می‌دهد و به یک بسته عملکردی تبدیل می‌کند؛ رویکردی که به ربات اجازه می‌دهد با یک بار پیش‌بینی، چندین دستور متوالی و هماهنگ را به مرحله اجرا بگذارد.

در فرآیند آموزش از پنجره‌های ۳ فریمی با فاصله زمانی یک ثانیه استفاده می‌شود. هر سه فریم درون یک عملیات دسته‌ای تجمیع می‌شوند تا تمام این پنجره زمانی تنها با یک بار عبور مستقیم از مدل بینایی-زبان پردازش شود.

میزان تأخیر روی یک تراشه H100

پیش‌آموزش با داده‌های عمومی و کنترل‌های بومی

فرآیند پیش‌آموزش طی ۲۰۰ هزار گام روی ۳۲ پردازنده گرافیکی H100 و با استفاده از سه دسته داده عمومی انجام شد:

• هدایت از راه دور ربات‌ها: مجموعه‌داده‌های RoboSet، Galaxea، AgiBot World، RoboCOIN، RoboMIND، RDT-1B، DROID، BridgeData V2، RT-1، BC-Z و داده‌های شبیه‌سازی‌شده برنامه‌ریزی حرکت.
• تعاملات انسانی از دید اول‌شخص: مجموعه‌های EgoDex، EgoVerse و Xperience که در مجموع حدود ۳۵۰ هزار سناریو و ۱۷۰ میلیون فریم را در بر می‌گیرند.
• داده‌های بینایی-زبان: زیرمجموعه‌های گلچین‌شده از FineVision و LLaVA-OneVision-1.5 برای استدلال فضایی، به‌همراه RoboPoint، RefSpatial و PixMo که سهم این بخش به حداکثر ۱۰ درصد از فریم‌های نمونه‌برداری‌شده محدود شد.

مدل REKI در طول پیش‌آموزش، ساختار عملکردی بومیِ هر مجموعه‌داده را بدون تغییر حفظ می‌کند. این تدبیر هوشمندانه مانع از آن می‌شود که پلتفرم‌های رباتیک گوناگون با مفاصل، گیره‌ها (گریپرها) و سیستم‌های کنترلی متفاوت، به پذیرش یک ساختار حرکتی مشترک و تحمیلی مجبور شوند.

آزمایش‌های تشریحی کیوتای نشان می‌دهد که این پیش‌آموزش عملکرد مدل را در سناریوهای خارج از توزیع داده‌ها به میزان ۱۳٫۸ امتیاز در بنچمارک RoboTwin Clean2Rand (شامل بهبود چشمگیر ۳۰٫۳ امتیازی در محیط‌های شلوغ) و ۴٫۳ امتیاز در بنچمارک LIBERO-Plus ارتقا داده است.

کد منبع، وزن‌های مدل و یک رابط برنامه‌نویسی ساده

این پروژه هم نسخه پایه پیش‌آموزش‌دیده و هم نسخه‌های فاین‌تیون‌شده برای بنچمارک‌های LIBERO، RoboTwin Clean2Rand، RoboCasa365 و چیدمان رومیزی ربات انسان‌نمای Fourier GR-1 را در اختیار توسعه‌دهندگان قرار می‌دهد. پلتفرم‌های رباتیک پشتیبانی‌شده شامل Franka Panda، سیستم دو بازویی ALOHA، ربات متحرک PandaOmron و ربات انسان‌نمای GR-1 هستند. وزن‌های این مدل‌ها در مجموعه‌ای اختصاصی روی پلتفرم هاگینگ‌فیس (Hugging Face) میزبانی می‌شوند.

رابط کاربری پایتون این مدل، چک‌پوینت را بارگذاری می‌کند، حافظه زمانی را بین سناریوهای مختلف پاک‌سازی کرده و با دریافت تصاویر، وضعیت حس عمقی مفاصل و دستور وظیفه، بسته حرکتی را پیش‌بینی می‌کند:

from reki import RekiPolicy

policy = RekiPolicy.from_pretrained(
    "kyutai/reki-2b-libero",
    device="cuda",
)

policy.reset()  # Clear the register cache at each episode.

actions = policy.predict(
    images={
        "camera_top": img0,
        "camera_wrist_left": img1,
    },
    state=proprio,
    task="put the bowl on the plate",
)

معیاری شفاف و قابل بررسی برای یادگیری ربات‌ها

مدل REKI مسیری کامل و شفاف را از داده‌های آموزشی عمومی تا کدهای استقرار عملیاتی پیش پای توسعه‌دهندگان می‌گذارد. تأخیر ۲۱٫۸ میلی‌ثانیه‌ای گزارش‌شده برای آن، معادل تقریباً ۴۶ بار پیش‌بینی بسته‌های حرکتی در هر ثانیه روی یک پردازنده H100 است و حافظه کش‌شده آن بار پردازشی یا مصرف حافظه گرافیکی بسیار ناچیزی تحمیل می‌کند.

نتایج بنچمارک‌ها و معیارهای سرعت توسط خود کیوتای به دست آمده است؛ بنابراین تکرار مستقل این آزمایش‌ها توسط سایر پژوهشگران مشخص خواهد کرد که این نتایج با چه دقتی روی سخت‌افزارهای گوناگون، وظایف متنوع و شرایط آموزشی دیگر تکرارپذیر هستند. انتشار هم‌زمان مقاله علمی، کدها، پایپلاین داده و وزن‌های مدل، تمامی اجزای لازم برای اجرای این ارزیابی‌ها و بهینه‌سازی اختصاصی روی کالبدهای مختلف رباتیک را در دسترس عموم قرار داده است.