انتشار مجموعه‌داده و مدل متن‌باز FineART؛ گام مشترک Scale AI و Hugging Face برای آموزش مهارت‌های ظریف به ربات‌ها

معرفی پروژه FineART

پروژه FineART (مخفف مسیرهای رباتیک حاشیه‌نویسی‌شده با جزئیات دقیق)، یک مجموعه‌داده برای دستکاری و کنترل ربات‌های دودستی است که به‌طور مشترک توسط شرکت Scale AI و تیم Hugging Face LeRobot منتشر شده است. این پروژه نخستین مجموعه‌داده و مدل رباتیک متن‌باز شرکت Scale AI محسوب می‌شود. بخش تحقیقاتی Scale Labs تاریخ انتشار این پروژه را ثبت کرده و این مجموعه در هفته جاری با ثبت بیش از ۸۴۰ هزار دانلود، در فهرست داغ‌ترین مجموعه‌داده‌های پلتفرم Hugging Face (با شناسه lerobot/FineART) در حال صعود است.

مقیاس و ابعاد این مجموعه‌داده عبارت است از:

• ۴۰,۵۴۳ اپیزود هدایت‌شده از راه دور، ۱,۷۱۸ ساعت ویدیو و ۱۸۵.۵ میلیون فریم تصویری.
• ۵۳۳,۹۱۳ برچسب زمانی خرده‌وظایف به زبان طبیعی (به‌طور میانگین حدود ۱۳ برچسب در هر اپیزود).
• ۱۵۱ وظیفه متنوع که حدود ۷۷ درصد آن‌ها شامل برداشتن، گذاشتن و مرتب‌سازی اشیا است و ۲۳ درصد دیگر به کارهای ظریف، پیچیده و پرتماس (مانند کار با پارچه، کابل‌ها، استفاده از ابزار و جاگذاری‌های دقیق) اختصاص دارد.
• این داده‌ها روی یک ربات دودستی Trossen Stationary AI (با طراحی مشابه ALOHA) مجهز به ۴ دوربین جمع‌آوری شده و در قالب نسخه ۳.۰ مجموعه‌داده LeRobot تحت مجوز CC BY 4.0 عرضه شده است.

در کنار این مجموعه‌داده، مدل FineART-VLA نیز عرضه شده که نسخه‌ای توسعه‌یافته از مدل π0.5 شرکت Physical Intelligence است و یک پیش‌بینی‌کننده خرده‌وظایف (سیستم ۲) را با یک کنترل‌کننده عمل پیوسته (سیستم ۱) در قالب یک سیاست واحد ترکیب می‌کند.

بررسی فنی و کارکردها

این پروژه چه مشکلی را حل می‌کند؟

بیشتر مجموعه‌داده‌های رباتیک متن‌باز برای هر اپیزود تنها یک دستور کلی در سطح کل وظیفه ارائه می‌دهند (مانند «جعبه را باز کن») یا فقط بخشی از ساعت‌های ضبط‌شده را به خرده‌وظایف تقسیم و برچسب‌گذاری می‌کنند. این کاستی، توسعه سیاست‌های سلسله‌مراتبی مبتنی بر الگوی «برنامه‌ریزی گام بعدی و سپس اقدام» را محدود می‌سازد. در مقابل، مجموعه‌داده FineART صد درصد ساعت‌های ضبط‌شده خود را به‌صورت متراکم و دقیق برچسب‌گذاری کرده و مدعی عنوان بزرگ‌ترین مجموعه‌داده رباتیک متن‌باز دارای برچسب‌های خرده‌وظایف است.

ویژگی‌های برجسته

• برچسب‌گذاری دوسطحی: شامل دستورات سطح کل وظیفه به‌همراه خرده‌وظایف تفکیک‌شده بر اساس زمان، همراه با ابرداده‌های مربوط به کیفیت اجرا و میزان موفقیت عملیات.
• خط تولید سه‌مرحله‌ای: تیم‌های مجزا و تخصصی وظیفه جمع‌آوری داده‌ها، برچسب‌گذاری و اعتبارسنجی نهایی را بر عهده داشته‌اند.
• عملکرد مدل FineART-VLA (بر اساس گزارش تیم سازنده): آموزش میانی این مدل، دقت پیروی از دستورات فضایی را از ۳۲ درصد به ۱۰۰ درصد می‌رساند. هم‌چنین با راهنمایی گام‌به‌گام انسانی در سطح خرده‌وظایف، نرخ موفقیت در انجام وظایف طولانی و دیده‌نشده از ۱۶ درصد به ۷۶ درصد افزایش می‌یابد و روی یک ربات جدید با حدود ۱۰ برابر داده آموزشی کمتر، عملکردی برابر با مدل‌های پایه ارائه می‌دهد.

مقایسه با رقبا

در مقایسه با مجموعه‌داده‌هایی که برای هر اپیزود تنها یک دستور کلی دارند (مانند Open X-Embodiment یا DROID)، مجموعه FineART گزینه بسیار مناسب‌تری برای مدل‌های بینایی، زبان و عمل (VLA) سلسله‌مراتبی مبتنی بر سیستم ۱ و سیستم ۲ است؛ هرچند که داده‌های آن تنها یک پلتفرم سخت‌افزاری واحد (ربات‌های دودستی به سبک ALOHA) را پوشش می‌دهد.

نحوه استفاده و کاربردها

این ابزار برای چه کسانی مناسب است؟

• تیم‌هایی که در حال آموزش و ارزیابی مدل‌های VLA و سیاست‌های کنترلی سلسله‌مراتبی ربات‌ها هستند.
• آزمایشگاه‌هایی که از تجهیزات رباتیک دودستی ALOHA یا Trossen استفاده می‌کنند.
• توسعه‌دهندگان هوش مصنوعی تجسم‌یافته (Embodied AI) که روی رابط میان دستورات زبانی خرده‌وظایف و اجرای عمل فیزیکی مطالعه می‌کنند.

شروع کار

1. بسته نرم‌افزاری را با دستور pip install lerobot نصب کنید (نسخه‌ای که از ستون‌های language_persistent و language_events پشتیبانی می‌کند).
2. مجموعه‌داده را بارگذاری کنید: from lerobot.datasets.lerobot_dataset import LeRobotDataset; ds = LeRobotDataset("lerobot/FineART")
3. از ابزار lerobot-annotate برای تفکیک و بخش‌بندی خرده‌وظایف در مجموعه‌داده اختصاصی LeRobot خود بهره ببرید.
4. فرآیند تنظیم دقیق (Fine-tune) را از روی مدل lerobot/FineART-VLA-subtask-midtrained با استفاده از دستور lerobot-train انجام دهید.

نکات تکمیلی

با توجه به حجم بالای این مجموعه که شامل حدود ۱,۷۱۸ ساعت ویدیو است، دانلود کامل آن به فضای ذخیره‌سازی و پهنای باند قابل‌توجهی نیاز دارد؛ بنابراین توصیه می‌شود ابتدا زیرمجموعه‌های مربوط به وظایف مورد نظر خود را به‌صورت جریانی (Stream) دریافت و بررسی کنید.