arXiv:2502.09389v2 宣告类型: replace-cross 摘要: 最近在技能学习方面的进展通过使机器人能够从实际数量的演示中学习复杂的操作任务，推动了机器人操作达到新的高度。然而，这些技能往往局限于训练数据中展示的具体动作、对象和环境实例，并且难以将这些技能转移到同一类别的其他实例上。在本文中，我们提出了一种开放词汇量的空间语义扩散策略（S$^2$-Diffusion），使技能能够从实例级别训练数据推广到类别级别，从而使同一类别的不同实例之间能够转移技能。我们展示了功能方面的技能可以通过可提示的语义模块结合空间表示来捕获。我们进一步提出利用深度估计网络，使得只需使用一个RGB相机即可。我们的方法在各种机器人操作任务上进行了评估和比较，既在仿真环境中进行，也在真实世界中进行。我们的结果表明，S$^2$-Diffusion对于类别无关因素的变化是不变的，并且能够在同一类别中的其他实例上实现令人满意的性能，即使没有针对特定实例进行训练。所有真实世界实验的完整视频可以在附录材料中找到。