摘要
由于机器人模拟需要人工创建各种模拟任务和场景,因此目前扩展机器人模拟仍然具有挑战性。模拟训练的策略也面临着可扩展性问题,因为许多模拟到现实的方法专注于单一任务。为了解决这些挑战,这项工作提出了 GenSim2,这是一个可扩展的框架,它利用具有多模态和推理能力的编码 LLM 来创建复杂且逼真的模拟任务,包括具有铰接对象的长期任务。为了自动生成这些任务的大规模演示数据,我们提出了在对象类别内泛化的规划和 RL 求解器。该流程可以为多达 100 个铰接任务生成数据,并使用 200 个对象,从而减少所需的人工工作量。为了利用这些数据,我们提出了一种有效的基于语言的多任务策略架构,称为本体感受点云转换器 (PPT),它从生成的演示中学习,并表现出强大的模拟到现实零样本迁移。结合提出的流程和策略架构,我们展示了 GenSim2 的一个有前景的用法,即生成的可以用于零样本迁移或与现实世界收集的数据进行联合训练,与仅在有限的真实数据上进行训练相比,这将策略性能提高了 20%。