LLM2D
ManiSkill3:面向泛化具身智能的 GPU 并行机器人仿真与渲染
ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI
作者: Stone Tao, Fanbo Xiang, Arth Shukla, Yuzhe Qin, Xander Hinrichsen, Xiaodi Yuan, Chen Bao, Xinsong Lin, Yulin Liu, Tse-kai Chan, Yuan Gao, Xuanlin Li, Tongzhou Mu, Nan Xiao, Arnav Gurha, Zhiao Huang, Roberto Calandra, Rui Chen, Shan Luo, Hao Su
发布日期: 10/2/2024
arXiv ID: oai:arXiv.org:2410.00425v1

摘要

仿真技术为机器人学习提供了前所未有的可扩展计算方法。然而,许多现有的仿真框架通常只支持有限的场景/任务,并且缺乏扩展通用机器人技术和仿真到现实的关键特性。我们介绍并开源了 ManiSkill3,这是一个最快的状态-视觉 GPU 并行机器人模拟器,它具有丰富的接触物理特性,旨在实现通用操控。ManiSkill3 支持许多方面的 GPU 并行,包括仿真+渲染、异构仿真、点云/体素视觉输入等等。与其他平台相比,ManiSkill3 上的仿真渲染速度可以快 10-1000 倍,GPU 内存使用量减少 2-3 倍,在基准环境中可以达到 30,000+ FPS,这是因为系统中的 Python/PyTorch 开销最小,在 GPU 上进行仿真,以及使用 SAPIEN 并行渲染系统。以前需要数小时才能完成的训练现在只需几分钟即可完成。我们还提供了最全面的 GPU 并行环境/任务范围,涵盖 12 个不同的领域,包括但不限于移动操控(用于绘画、人形机器人等任务)、以及由艺术家设计或来自现实世界数字孪生的逼真场景中的灵巧操控。此外,还提供了来自运动规划、强化学习和遥操作的数百万个演示帧。ManiSkill3 还提供了一套全面的基线,涵盖了流行的强化学习和从演示中学习的算法。