arXiv:2503.24361v1 Announce Type: cross 摘要：大型现实世界机器人数据集有潜力训练通用机器人模型，但扩大现实世界人类数据的收集是耗时且资源密集的。模拟在补充大规模数据方面具有巨大潜力，特别是在生成AI和自动化数据生成工具的最新进展使创建可扩展的机器人行为数据集成为可能的情况下。然而，仅在模拟中训练策略并在现实世界中迁移它往往需要大量的手工努力来缩小现实差距。一个令人信服的替代方案是在模拟和现实世界数据混合中共同训练策略。初步研究表明，这种策略可以在仅使用少量现实世界数据训练的策略上显著提高性能。然而，社区缺乏对混合模拟与现实共同训练的系统理解，以及如何利用模拟数据的好处来从事现实世界机器人学习。本文提供了一种简单而有效的利用模拟数据解决基于视觉的机器人操作任务的方法。我们通过全面实验得出了这种方法，验证了不同模拟和现实世界数据集上的共同训练策略。使用两个领域——机器人手臂和类人机器人——以及各种任务，我们证明即使模拟和现实世界数据之间存在显著差异，通过模拟数据也可以提高现实世界任务性能的平均38%。有关视频和额外结果可访问 https://co-training.github.io/