مدل جهان Agora-2 معرفی شد؛ شبیه‌سازی هم‌زمان دنیای بازی برای ۲۰ بازیکن و ایجنت هوش مصنوعی

همگام‌سازی ۲۰ کاربر در دنیای تولیدشده با Agora-2

استارتاپ Odyssey یک پیش‌نمایش پژوهشی و قابل بازی از Agora-2 منتشر کرده است؛ یک مدل جهان عصبی که پیش‌بینی می‌کند محیط پس از کنش‌های شرکت‌کنندگان چگونه تغییر می‌کند. Agora-2 از حداکثر ۲۰ انسان و ایجنت در یک شبیه‌سازی اشتراکی از جهان پشتیبانی می‌کند. مدل‌های آموزش‌دیده حرکت‌ها، افکت‌های نبرد، واکنش‌های دشمنان و پیکسل‌ها را پیش‌بینی می‌کنند، در حالی که یک سرور مرکزی همه شرکت‌کنندگان را همگام نگه می‌دارد.

• ظرفیت نشست: تا ۲۰ شرکت‌کننده، شامل چهار انسان و ۱۶ ایجنت یادگیری تقویتی.
• خروجی: یک نمای پیکسلی تولیدشده مستقل به‌صورت بلادرنگ برای هر شرکت‌کننده استریم می‌شود.
• معماری: یک مدل شبیه‌سازی وضعیت اشتراکی را به‌روزرسانی می‌کند و یک مدل رندرینگ آن وضعیت را به نماهای اختصاصی تبدیل می‌سازد.
• داده‌های آموزشی: نمونه‌های ثبت‌شده، مشاهدات بصری را با کنش‌ها و وضعیت حاصل از محیط Diablo II جفت می‌کنند.

یک سرور حافظه مدل را تامین می‌کند

بیشتر مدل‌های جهان ویدیویی، مشاهده بعدی یک بیننده را صرفاً بر اساس تاریخچه کنش‌های همان بیننده تولید می‌کنند. چنین ساختاری فاقد یک مرجع رسمی و ثبت‌شده از اشیا، شرکت‌کنندگان و رویدادهای مشترک میان زوایای دید مستقل است. Agora-2 این سوابق را به‌طور صریح حفظ می‌کند و اجازه می‌دهد اقدام یک شرکت‌کننده بر آنچه سایرین می‌بینند تاثیر بگذارد.

طبق اعلام Odyssey، مدل Agora-2 از ظرفیت شرکت‌کنندگانی تا پنج برابر بیشتر از Agora-1 پشتیبانی می‌کند، محیط‌های متعددی را در بر می‌گیرد و تعاملات پیچیده‌تری را در توالی‌های طولانی‌تر مدیریت می‌کند. در مقایسه، Odyssey-3 به جای یک گروه همگام، تجربه یک شرکت‌کننده واحد را مدل‌سازی می‌کند.

مجموعه داده‌های آموزشی فریم‌ها را با کنش‌ها و وضعیت‌های ساختاریافته پیوند می‌دهد. Agora-2 از این نمونه‌ها، بازنمایی‌های آماری جهت‌یابی، پرتابه‌ها، برخوردها، مبارزات و تعاملات میان بازیکنان و هیولاها را یاد می‌گیرد. محیط محدود بازی نقش‌آفرینی اکشن (Action-RPG) موجودیت‌های تکرارشونده و توالی‌های شفاف علت و معلولی را برای سنجش پیش‌بینی وضعیت اشتراکی فراهم می‌آورد.

ابتدا تعیین وضعیت، سپس تولید پیکسل‌ها

مدل Agora-2 فرایند تولید را میان دو مؤلفه یادگیرنده و یک سرور مرجع جهان تقسیم می‌کند. این مؤلفه‌ها به جای اتکا به فریم‌های تولیدشده، وضعیت ساختاریافته را با یکدیگر مبادله می‌کنند.

1. کدگذاری شرکت‌کنندگان: مدل شبیه‌سازی ویژگی‌های موجودیت‌ها، کنش‌های اخیر و هندسه پیرامونی را دریافت می‌کند.
2. پیش‌بینی تعاملات: مکانیسم‌های توجه هنگام تخمین پیامدهای هر کنش، روابط میان موجودیت‌ها از جمله موقعیت و رفتار اخیر آن‌ها را می‌سنجند.
3. ادغام وضعیت: سرور جهان این پیش‌بینی‌ها را در قالب یک روایت مرجع و یکپارچه از محیط هماهنگ می‌کند.
4. رندر زوایای دید: رندرکننده هر شرکت‌کننده، وضعیت اشتراکی را در کنار تاریخچه بصری اخیر همان شرکت‌کننده دریافت می‌کند.
5. تداوم چرخه: نماهای تازه تولیدشده به تاریخچه بصری برای به‌روزرسانی بعدی تبدیل می‌شوند.

هنگامی که یک شیء از دید یک شرکت‌کننده خارج می‌شود، ویژگی‌های آن در وضعیت مرجع سرور حفظ می‌گردد. با بازگشت آن شیء به میدان دید، سیستم رندر می‌تواند به جای بازسازی صرف از روی فریم‌های قدیمی، از وضعیت ذخیره‌شده بهره ببرد. سرورهای مرجع بازی‌های چندنفره نیز از مدل ماندگاری مشابهی استفاده می‌کنند؛ با این تفاوت که Agora-2 نمای کاربر را از طریق تولید عصبی می‌سازد.

آموزش سیستم رندر برای پرهیز از میان‌برهای اشتباه

هر شرکت‌کننده نمایی اختصاصی دریافت می‌کند که بر اساس محیط اشتراکی، موجودیت‌های مرتبط، افکت‌های تعاملی و فریم‌های اخیر شرطی‌سازی شده است. تاریخچه بصری به حفظ ظاهر صحنه در طول به‌روزرسانی‌ها کمک می‌کند، در حالی که وضعیت ساختاریافته به سیستم رندر اطلاع می‌دهد که شبیه‌سازی در حال حاضر شامل چه مواردی است.

• روش Flow matching: در طول آموزش، توالی‌ها در سطوح نویز مختلف به مدل ارائه می‌شوند و مسیر حرکت از فریم‌های نویزی به سمت فریم‌های شفاف و بدون نویز، با استفاده از هدفی مشابه با مدل‌های دیفیوژن آموزش داده می‌شود.
• حذف تصادفی تاریخچه بصری (Visual-history dropout): استارتاپ Odyssey در زمان آموزش به‌طور مکرر فریم‌های اخیر را حذف می‌کند تا سیستم رندر ناچار شود به جای کپی‌کردن خروجی قبلی، از وضعیت ارائه‌شده استفاده کند.
• تابع زیان با وزن‌دهی به موجودیت‌ها (Entity-weighted loss): خطاهای مربوط به بازیکنان و هیولاها وزن بیشتری دریافت می‌کنند تا ظرفیت مدل بیش از کاشی‌های پس‌زمینه، معطوف به اشیای تعاملی شود.

در زمان استنتاج، هر نمای تولیدشده وارد چرخه به‌روزرسانی بعدی می‌شود. این فرایند بازگشتی ورودی کاربر، پیش‌بینی وضعیت اشتراکی و رندرینگ را در سراسر نشست به هم متصل می‌سازد.

یادگیری ایجنت‌ها بر اساس مشاهدات جزئی

استارتاپ Odyssey شانزده حریف را با یادگیری تقویتی آموزش می‌دهد؛ روشی که خط‌مشی یک ایجنت را از طریق پاداش‌های حاصل از تعاملات مکرر بهبود می‌بخشد. ایجنت‌ها یاد می‌گیرند حریفان را تعقیب کنند، موانع را دور بزنند و پس از گیر افتادن یا جدا افتادن مسیر خود را بازیابند.

این ایجنت‌ها به جای دسترسی نامحدود به وضعیت کامل سرور، بر اساس مشاهدات جزئی عمل می‌کنند. مشاهدات اخیر به آن‌ها کمک می‌کند شرکت‌کنندگان مجاور را ردیابی کرده و با تغییر موقعیت‌ها، رفتار خود را تطبیق دهند.

توسعه‌دهندگان Odyssey این پروژه را به PROWL مرتبط می‌دانند؛ پروژه‌ای که از تجربیات ایجنت‌ها برای بهبود داده‌های آموزشی مدل جهان بهره می‌برد. حلقه بازخورد پیشنهادی، بین بهبود شبیه‌ساز و آموزش خط‌مشی‌های قوی‌تر درون آن تناوب ایجاد می‌کند.

مسیری فراتر از بازی‌های نقش‌آفرینی اکشن

استارتاپ Odyssey معماری وضعیت اشتراکی را برای حوزه‌هایی پیشنهاد می‌کند که در آن‌ها چندین انسان و ایجنت باید طی توالی‌های طولانی با یکدیگر تعامل داشته باشند. پیاده‌سازی این سیستم در هر حوزه نیازمند داده‌های اختصاصی، اعتبارسنجی و تدابیر ایمنی خواهد بود.

محدودیت‌های نسخه پیش‌نمایش

این نسخه پیش‌نمایش تنها بخش محدودی از یک محیط بازی را پوشش می‌دهد؛ بنابراین قابلیت تعمیم گسترده در سبک‌های بصری، فیزیک، موجودیت‌ها یا فضاهای کنش مختلف را ثابت نمی‌کند. علاوه بر این، نماهای تولیدشده به بازنمایی‌های عصبی فشرده و تاریخچه بصری بازگشتی وابسته هستند که زمینه انباشت خطاهای هویتی، هندسی و وضعیتی را در نشست‌های طولانی‌تر فراهم می‌سازد.

ظرفیت نشست به ۲۰ شرکت‌کننده محدود است و مسائلی نظیر توان عملیاتی، تاخیر، هزینه پردازنده‌های گرافیکی و کیفیت خروجی در مقیاس‌های بزرگ‌تر همچنان حل‌نشده باقی مانده‌اند. همچنین برای سنجش ارزش آموزشی، تنوع سناریوها، ثبات بلندمدت و هزینه به ازای هر تعامل تولیدشده، به بنچمارک‌های مقایسه‌ای در برابر شبیه‌سازهای مرسوم نیاز خواهد بود.

استارتاپ Odyssey تعمیم‌پذیری را چالشی حل‌نشده می‌داند. گسترش این معماری به یک مدل جهان بنیادین مانند Odyssey-3، مستلزم بازنمایی‌هایی است که موجودیت‌ها، کنش‌ها و روابط ناآشنا را توصیف کنند و هم‌زمان تعامل منسجم میان زوایای دید مستقل را محفوظ نگه دارند.

تست‌های استرس برای نسخه آزمایشی تحت مرورگر

مدل Agora-2 توپولوژی بازی‌های چندنفره مرجع را با تغییرات وضعیت یادگرفته‌شده و رندرینگ عصبی ترکیب می‌کند. این طراحی محیطی مشترک ایجاد می‌کند که در آن چندین خط‌مشی می‌توانند با هم در تعامل باشند و مدل‌های جهان چندایجنت را به شبیه‌سازهای تحقیقاتی کاربردی‌تری تبدیل کند.

تجربه عملی این سیستم می‌تواند ویژگی‌هایی را آشکار کند که در اسکرین‌شات‌ها و ویدیوهای کوتاه قابل مشاهده نیستند:

• آیا نبردهای شلوغ میان همه شرکت‌کنندگان همگام باقی می‌ماند؟
• آیا موجودیت‌های خارج از صفحه نمایش هنگام بازگشت ویژگی‌های خود را حفظ می‌کنند؟
• هویت بصری و هندسه اشیا در طول نشست‌های طولانی چگونه دچار تغییر می‌شود؟
• میزان پاسخ‌دهی سیستم با پیوستن انسان‌ها و ایجنت‌های بیشتر چه تغییری می‌کند؟
• آیا ایجنت‌ها پس از قرار گرفتن در موقعیت‌های غیرمعمول یا مسیرهای مسدود، به‌طور منسجم به وضعیت عادی بازمی‌گردند؟

پیش‌نمایش تحت مرورگر امکان دسترسی به سیستم زنده را فراهم می‌کند، در حالی که گزارش فنی ارائه‌شده معماری و روش‌های آموزش را مستند کرده است.