LLM2D
ManiFoundation 模型:用于任意物体和机器人接触合成的一般性机器人操控
ManiFoundation Model for General-Purpose Robotic Manipulation of Contact Synthesis with Arbitrary Objects and Robots
作者: Zhixuan Xu, Chongkai Gao, Zixuan Liu, Gang Yang, Chenrui Tie, Haozhuo Zheng, Haoyu Zhou, Weikun Peng, Debang Wang, Tianrun Hu, Tianyi Chen, Zhouliang Yu, Lin Shao
发布日期: 9/26/2024
arXiv ID: oai:arXiv.org:2405.06964v2

摘要

为了显著提升机器人智能,迫切需要开发一个大型模型,使通用机器人能够熟练地完成各种操作任务,类似于大型语言模型所展现的多功能任务规划能力。物体、机器人和操作任务的巨大多样性带来了巨大的挑战。我们的工作引入了一个全面的框架来开发用于通用机器人操作的基础模型,该模型将操作任务形式化为接触合成。具体来说,我们的模型以物体和机器人机械臂点云、物体物理属性、目标运动和操作区域掩码作为输入。它输出物体上的接触点以及与之相关的接触力或机器人实现所需操作任务的后接触运动。我们在模拟和真实世界环境中进行了大量实验,操纵了铰接刚性物体、刚性物体和可变形物体,这些物体在维度上各不相同,从一维物体(如绳索)到二维物体(如布料)再到三维物体(如塑形泥)。我们的模型实现了约 90% 的平均成功率。补充材料和视频可在我们的项目网站 https://manifoundationmodel.github.io/ 上获取。