arXiv:2504.12609v2 通知类型: replace-cross 摘要：教会机器人灵巧操作技能通常需要使用可穿戴设备或远程操作收集数百个示范，这一过程难以扩展。人类与物体交互的视频更容易收集和扩展，但由于视频中缺乏明确的动作标签以及机器人和人类手部之间的形态差异，直接利用这些视频进行机器人学习是困难的。我们提出了一种名为Human2Sim2Robot的新颖框架，该框架仅使用一个人类演示任务的RGB-D视频来训练灵巧操作策略。我们的方法利用仿真中的强化学习（RL）跨越了人类与机器人身体能力之间的差距，而不依赖于可穿戴设备、远程操作或通常为模仿学习方法所必需的大量数据收集。从演示中，我们提取了两个任务特定的组成部分：（1）物体质态轨迹，用于定义一个以物体为中心、不依赖身体能力的奖励函数；（2）预操作手姿，用于仿真中的初始化和指导探索。我们发现这两个组成部分对于学习所需的任务非常有效，从而消除了任务特定奖励塑造和调整的需要。我们展示了Human2Sim2Robot在抓取、非抓握操作以及多步骤任务中分别比无感知开环轨迹回放高出55%，比数据增强下的模仿学习高出68%。项目站点：https://human2sim2robot.github.io