انتشار مدل متن‌باز HumanWAM؛ آموزش مهارت‌های حرکتی ربات‌ها با ۵۰ هزار ساعت ویدیوی انسانی

معرفی

مدل HumanWAM (مخفف مدل جهان و عمل انسانی) خانواده‌ای از مدل‌های کالبدیافته جهان و عمل است که توسط گروه پژوهشی DAGroup-PKU و همکارانشان در قالب پروژه Open-HumanScale توسعه یافته است. این سیستم ابتدا روی حجم عظیمی از ویدیوهای اول‌شخص از تعاملات و حرکات دست انسان پیش‌آموزش می‌بیند و سپس از طریق مراحل پس‌آموزش، برای کنترل ربات‌های دودستی سازگار می‌شود. جزئیات علمی این دستاورد در مقاله پژوهشی arXiv 2611.06817، نمونه مدل در صفحه Hugging Face و مستندات کامل در وب‌سایت رسمی پروژه Open-HumanScale در دسترس قرار دارد.

داده‌ها و نسخه‌های مختلف این خانواده عبارت‌اند از:

• مجموعه‌داده Open-HumanScale-50K: شامل حدود ۵۰ هزار ساعت ویدیوی اول‌شخص پالایش‌شده از حرکات دست و جابه‌جایی اشیا توسط انسان که با برچسب‌های حرکت دست و توضیحات متنی همراه شده است
• مدل HumanWAM-Vanilla: نسخه‌ای که منحصراً روی داده‌های انسانی پیش‌آموزش دیده است؛ انتشار نسخه Vanilla-Base در پلتفرم Hugging Face شامل یک چک‌پوینت پیش‌آموزش‌دیده روی ویدیوهای اول‌شخص انسانی و یک چک‌پوینت آموزش میانی چندنمایی EgoPro برای شروع فرآیند پس‌آموزش ربات است
• مدل HumanWAM-Goal: نسخه‌ای که به‌صورت مشترک روی داده‌های انسان و ربات پیش‌آموزش دیده و از شرطی‌سازی مبتنی بر هدف تصویری برای اجرای بدون پیش‌نیاز (Zero-shot) و یاد‌گیری درون‌متنی کالبدیافته بهره می‌برد.

نتایج پس‌آموزش گزارش‌شده در مقاله نشان می‌دهد که نسخه Vanilla در بنچمارک RoboTwin 2.0 به‌دقت ۹۲.۰۸ درصد در سناریوی Clean2Clean و ۶۸.۸۸ درصد در سناریوی Clean2Random دست می‌یابد؛ درحالی‌که نسخه Goal در همین آزمون‌ها به ترتیب امتیاز ۹۲.۷۰ درصد و ۸۴.۶۰ درصد (با میانگین ۸۸.۶۵ درصد) را ثبت کرده است. هم‌چنین در چهار وظیفه روی ربات واقعی و در شرایط دیداری خارج از توزیع (OOD)، میانگین نرخ موفقیت از ۲.۵ درصد (بدون پیش‌آموزش ویدیوهای اول‌شخص) به ۶۷.۵ درصد با استفاده از مدل Vanilla جهش یافته است.

توضیحات فنی و ضرورت پروژه

مسئله اصلی

مدل‌های بنیادین رباتیک برای یاد‌گیری به تجربیات متنوعی در زمینه دستکاری و جابه‌جایی اشیا نیاز دارند، اما گردآوری داده از طریق هدایت از راه دور ربات‌ها بسیار پرهزینه و زمان‌بر است. ویدیوهای اول‌شخص انسانی می‌توانند دانش پیشین جابه‌جایی اشیا را در مقیاس وسیع فراهم کنند؛ پروژه Open-HumanScale این پیکره داده‌ای عظیم، دستورالعمل پالایش و هم‌ترازسازی داده‌ها، و هم‌چنین یک قانون مقیاس‌پذیری تجربی (رابطه لگاریتمی خطی میان ساعات پیش‌آموزش و نرخ موفقیت در وظایف پایین‌دستی) را به‌صورت متن‌باز منتشر کرده است.

نسخه‌های مدل

• نسخه Vanilla: پیش‌آموزش جهان و عمل منحصراً بر پایه داده‌های انسانی (پیش‌بینی مشترک فریم‌های بعدی ویدیو و اقدامات حرکتی)، و سپس آموزش میانی و پس‌آموزش برای سیاست‌های کنترلی چندنمایی در ربات‌ها
• نسخه Goal: ترکیب داده‌های انسانی و رباتیک به‌همراه شرطی‌سازی تصویرِ هدف، جهت کنترل بدون پیش‌نیاز و سازگاری درون‌متنی دیداری بدون نیاز به تغییر پارامترها.

وضعیت انتشار و محدودیت‌ها

• انتشار نسخه Vanilla-Base در Hugging Face با اولویت وزن‌های مدل انجام شده است: وزن‌های پیش‌آموزش‌دیده و آموزش میانی بارگذاری شده‌اند، اما آمارهای نرمال‌سازی، فایل‌های پیکربندی و منابع زمان اجرا به‌صورت جداگانه عرضه می‌شوند؛ بنابراین دانلود این فایل‌ها به‌تنهایی یک بسته کامل و قابل اجرا نیست
• استنتاج و اجرای وظایف روی ربات نیازمند سیاست پس‌آموزش‌دیده منطبق و منابع زمان اجرا است
• ارقام و نتایج بنچمارک‌ها از مقاله استخراج شده‌اند و برای بازتولید آن‌ها باید از مجموعه‌های ارزیابی رسمی استفاده کرد.

کاربرد و نحوه استفاده

مخاطبان هدف

• پژوهشگران حوزه هوش مصنوعی کالبدیافته و یاد‌گیری رباتیک که به یک دستورالعمل متن‌باز برای پیش‌آموزش انسانی و چک‌پوینت‌های آماده نیاز دارند
• تیم‌هایی که در حال پس‌آموزش مدل‌ها برای بنچمارک RoboTwin یا سیستم‌های رباتیک دودستی در دنیای واقعی هستند.

شروع کار

1. ابتدا مقاله پژوهشی پروژه و صفحه وب‌سایت آن را برای درک تفاوت‌های نسخه Vanilla و Goal مطالعه کنید
2. مدل را با دستور hf download DAGroup-PKU/HumanWAM-Vanilla-Base --local-dir HumanWAM-Vanilla-Base دریافت کنید
3. از مخزن گیت‌هاب HumanNet و مجموعه Open-HumanScale در Hugging Face برای دسترسی به کدها و داده‌ها استفاده کنید
4. پیش از اجرای استنتاج حلقه بسته کامل، منابع زمان اجرا و داده‌های نرمال‌سازی را دریافت کنید و وزن‌های نسخه Base را به‌تنهایی به‌عنوان یک سیاست کنترلی نهایی در نظر نگیرید.