arXiv:2504.13059v1 Announce Type: 跨领域 摘要：在迅速发展的机器人领域，双臂协调和复杂物体操作是开发先进自主系统的关键能力。然而，高质量的多样化示范数据的稀缺和与真实世界对齐的评价基准严重限制了这种发展。为了应对这一挑战，我们提出了一种生成型数字孪生框架RoboTwin，该框架利用3D生成基础模型和大型语言模型来生成多样化的专家数据集，并提供与真实世界对齐的双臂机器人任务评价平台。具体而言，RoboTwin 从单张二维图像创建了各种各样的数字孪生物体，生成了现实且互动的场景。它还引入了一种空间关系意识的代码生成框架，该框架结合了物体标注和大型语言模型来分解任务、确定空间约束，并生成精确的机器人动作代码。我们的框架提供了一个包括模拟和真实世界数据的综合基准，使得标准化评价和模拟训练与真实世界性能之间的对齐成为可能。我们使用开源的COBOT Magic Robot平台验证了我们的方法。在RoboTwin生成的数据上预训练并在少量真实世界样本上微调的策略展示了显著的潜力，通过在单臂任务中提高70%以上、双臂任务中提高40%以上的成功率，证明了与仅使用真实世界数据训练的模型相比，增强双臂机器人操作系统的可能性。