فریمورک RoboColosseum رونمایی شد؛ ارزیابی مدل‌های هوش مصنوعی روی ربات‌های واقعی در محیط‌های متنوع

معرفی فریمورک RoboColosseum

پروژه RoboColosseum یک فریمورک توزیعشده برای ارزیابی ربات‌های واقعی در زمینه هوش فیزیکی و تجسدمیافته در محیط‌های عملیاتی است که حاصل همکاری دانشگاه‌های استنفورد، واشنگتن، آکسفورد، کارولینای شمالی و دانشگاه ملی سنگاپور با مؤسسه تحقیقاتی Ai2، پلتفرم Hugging Face، شبکه BitRobot و مرکز هوش مصنوعی تجسدمیافته سنگاپور (EAIC) به‌شمار می‌رود. جزئیات این دستاورد در مقاله پژوهشی arXiv:2611.02497 منتشر شده است. این سامانه با تلفیق بستر یکپارچه اجرای سیاست‌ها و پروتکل‌های استاندارد، امکان سنجش دقیق مدل‌های تصمیم‌گیری را روی ربات‌های گوناگون در محیط‌های واقعی فراهم می‌سازد.

چشمانداز بلندمدت این شبکه ارزیابی، پوشش بیش از ۱۰۰ ربات فیزیکی در بیش از ۱۴۰ محیط و صحنه عملیاتی مختلف است. پژوهش منتشرشده مدل‌های مختلف را روی بازوهای رباتیک SO-101، ربات Franka (پروژه DROID)، سیستم دومنظوره YAM و ربات انساننمای Unitree G1 به بوته آزمایش گذاشته و به ارزیابی ۵ مدل بینایی، زبان و عمل (VLA) و ۳ عامل هوشمند پیشگام پرداخته است. این فرایند در دو مسیر صورت می‌پذیرد: مسیر باز (Open Track) با آزمون‌های مقایس‌های دونفره و دوطرفهکور بدون آموزش اختصاصی برای کارها، و مسیر بازتنظیم (Fine-tune Track) که ۱۰۰ نمونه داده نمایشی یکسان به ازای هر وظیفه در اختیار مدل‌ها می‌گذارد. پژوهشگران هم‌چنین ۱۰ هزار ساعت زمان ارزیابی رایگان روی ربات‌های واقعی را به آزمایشگاه‌های دانشگاهی و آکادمیک اختصاص داده‌اند.

بررسی مسئله و چالش‌های بنیادین

سیاست‌ها و مدل‌های هوش مصنوعی عمومی برای رباتیک باید بتوانند روی انواع مختلف سخت‌افزار، وظایف متنوع و محیط‌های گوناگون عملکرد درستی داشته باشند. با این حال، تکرارپذیری آزمایش‌های فیزیکی در دنیای واقعی بسیار دشوار است و داده‌های ثبتشده در یک آزمایشگاه منفرد معمولاً محدود می‌مانند. شبیهسازهای کامپیوتری مقیاسپذیر هستند، اما همچنان با شکاف‌های بزرگی در شبیه‌سازی دقیق حسگرها و رفتارهای پویای فیزیکی روبهرو هستند. پلتفرم RoboColosseum با توزیع ربات‌های واقعی بر بستر رابط‌های یکپارچه و مشترک، تعادلی هوشمندانه میان مقایسهپذیری عادلانه و تنوع محیطی برقرار می‌کند.

ویژگی‌های متمایزکننده

• تنوع سختافزاری و بدنه‌ها: برخلاف بسترهایی که فقط روی یک ربات خاص تمرکز دارند، این فریمورک بر پایه تنوع کالبدی چندگانه ساخته شده است.
• دو مسیر ارزیابی مستقل: سنجش چندجانبه از طریق مسیر باز بدون آموزش پیشین در محیط‌های واقعی و مسیر بهینه‌سازی با حجم داده نمایشی ثابت انجام می‌شود.
• مقیاس آماری گسترده: مطالعه اولیه شامل ۵٬۶۹۹ مقایسه دونفره در ۱۲۴ محل عملیاتی، استفاده از سامانه رتبه‌بندی تنظیمشده بر پایه دشواری (DCR) و تخصیص ۱۰ هزار ساعت تست رایگان دانشگاهی است.

محدودیت‌ها و چالش‌های موجود

• داده‌های گزارش شده مربوط به دوره زمانی ۱۷ سپتامبر تا ۲۸ اکتبر ۲۰۲۶ است و میزان پوشش آزمون‌ها به میزان سازگاری نسخه‌های وزنی مدل با سخت‌افزار وابسته است.
• مسیر بازتنظیم حجم داده‌های آموزشی را ثابت نگه می‌دارد، اما به هر مدل اجازه می‌دهد از دستورالعمل رسمی بهینه‌سازی خود استفاده کند؛ بنابراین رویکرد نهایی تطبیق سرتاسری است نه استفاده از بهینهسازهای یکسان.
• روی ربات انساننمای G1، هیچیک از مدل‌ها موفق به انجام کامل هر پنج سناریو نشدند و به همین دلیل ارزیابی باید بر اساس امتیاز پیشرفت در وظایف سنجیده شود، نه صرفاً نرخ موفقیت نهایی.

جامعه هدف و کاربردها

این فریمورک اختصاصاً برای آزمایشگاه‌ها و پژوهشگرانی طراحی شده است که به توسعه و ارزیابی مدل‌های بینایی، زبان و عمل (VLA) یا مدل‌های بنیادین تجسدمیافته می‌پردازند و به مقایسه مدل خود در سایت‌های فیزیکی متعدد یا دسترسی رایگان به ظرفیت سنجش رباتیک نیاز دارند.

راهنمای شروع به کار

1. مطالعه مقاله پژوهشی در نشانی arXiv:2611.02497 برای آشنایی دقیق با مشخصات کالبدی ربات‌ها و پروتکل‌های دو مسیر ارزیابی.
2. دنبال کردن اطلاعیه‌های رسمی در کانال‌های پلتفرم Hugging Face، شبکه BitRobot و مرکز EAIC برای ثبت درخواست سهمیه ساعت‌های رایگان ارزیابی دانشگاهی.
3. اتصال مدل‌های رباتیک از طریق رابط مشترک دریافت داده‌های حسی و ارسال دستورهای حرکتی، شرکت در رقابت دوطرفهکور مسیر باز یا بهره‌گیری از ۱۰۰ نمونه نمایشی مسیر بازتنظیم.