LLM2D
ARCap:利用增强现实反馈收集高质量的人类示范用于机器人学习
ARCap: Collecting High-quality Human Demonstrations for Robot Learning with Augmented Reality Feedback
作者: Sirui Chen, Chen Wang, Kaden Nguyen, Li Fei-Fei, C. Karen Liu
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2410.08464v1

摘要

近年来,从人类演示中学习模仿取得了进展,在教授机器人操作技能方面展现出巨大潜力。为了进一步扩大训练数据集,最近的研究开始使用便携式数据采集设备,无需实际的机器人硬件。然而,由于数据采集过程中缺乏机器人反馈,数据质量严重依赖于用户专业知识,而且许多设备仅限于特定机器人形式。我们提出 ARCap,这是一种便携式数据采集系统,它通过增强现实 (AR) 提供视觉反馈,并提供触觉警告来指导用户收集高质量的演示。通过广泛的用户研究,我们证明 ARCap 使新手用户能够收集可执行的机器人数据,这些数据与机器人运动学相匹配,并避免与场景发生碰撞。利用从 ARCap 收集的数据,机器人可以执行具有挑战性的任务,例如在杂乱环境中的操作和长范围跨机器人形式的操作。ARCap 完全开源且易于校准;所有组件均由现成的产品组成。更多详细信息和结果可在我们的网站上找到:https://stanford-tml.github.io/ARCap