arXiv:2410.15536v2 通知类型: replace-cross 摘要: 我们介绍了GRS (Generating Robotic Simulation tasks) 系统，这是一个针对机器人模拟的从现实到虚拟的系统。GRS 从单张RGB-D 观测中生成可解决的任务的虚拟代理训练数字双胞胎模拟。使用视觉-语言模型 (VLMs)，我们的流水线分为三个阶段：1) 使用SAM2 进行场景理解以进行分割和物体描述，2) 匹配物体与模拟就绪的资产，3) 生成适当的任务。我们通过生成的测试套件确保模拟任务的一致性，并引入了一个路由器以迭代地细化模拟和测试代码。实验通过我们新的路由器机制展示了系统在物体对应和任务环境生成方面的有效性。