arXiv:2409.02920v3 通知类型: 替换-交叉 摘要：在机器人技术快速发展的领域中，双臂协调和复杂物体操作是开发高级自主系统的必备能力。然而，多样且高质量的示范数据的稀缺以及与现实世界接轨的评估基准极大地限制了这一发展。为了解决这一问题，我们引入了RoboTwin，一个使用3D生成基础模型和大型语言模型生成多样化专家数据集，并提供双臂机器人任务现实世界接轨评估平台的生成数字孪生框架。具体来说，RoboTwin 从单个2D图像中创建各种各样的数字孪生对象，生成现实且互动的场景。它还引入了一种空间关系感知的代码生成框架，结合对象注释与大型语言模型来分解任务、确定空间约束并生成精确的机器人运动代码。我们的框架提供了一个包含模拟和现实世界数据的综合性基准，使标准化评估成为可能，并在模拟训练和现实世界表现之间实现了更好的对齐。我们使用开源的COBOT Magic Robot平台验证了这种方法。基于RoboTwin生成的数据预训练并用有限的现实世界样本微调的策略提高了单臂任务超过70%的成功率，以及双臂任务超过40%的成功率，相比之下，仅基于现实世界数据训练的模型成功率较低。这一显著改进展示了RoboTwin在增强双臂机器人操作系统开发和评估方面的潜力。项目页面: https://robotwin-benchmark.github.io/early-version/。