arXiv:2503.24361v2 声明类型: replace-cross 摘要：大规模现实世界机器人的数据集具有训练通用机器人模型的巨大潜力，但扩大现实世界人类数据的收集既费时又资源密集。模拟在补充大规模数据方面具有巨大潜力，尤其是在生成AI和自动化数据生成工具的进步使得能够大规模创建机器人行为数据集的情况下。然而，仅在模拟中训练策略并将其实现在现实世界中通常需要大量的手工努力来弥合现实差距。一个充满希望的替代方案是在模拟和真实世界数据的混合中共同训练策略。初步研究表明，与仅使用少量真实世界数据训练的策略相比，这种策略能够显著提高策略的性能。然而，社区缺乏对模拟和现实共同训练方法的系统理解，以及如何利用模拟数据的收益进行真实机器人学习。本文提供了一个简单而有效的配方，利用模拟数据解决基于视觉的机器人 manipulation 任务。我们通过对各种模拟和真实世界数据集进行全面实验来验证共同训练策略，从而得出这个配方。在两条跨领域的研究路线——机器人臂和类人机器人上，通过多样化的任务，我们展示了模拟数据能够通过平均38%的优势提升现实世界任务的表现，即使模拟和真实世界数据之间存在显著差异。有关视频和额外结果，可以访问 https://co-training.github.io/