arXiv:2503.02881v3 宣告类型: replace-cross 摘要：人类可以利用视觉和触觉来完成复杂的接触性任务，具备快速应对外部变化的高反应能力以及对接触力的自适应控制；然而，这对机器人来说仍然是一个挑战。现有的视觉模仿学习（IL）方法依赖于动作分块来建模复杂的行为，但在分块执行过程中无法实时响应触觉反馈。此外，大多数远程操作系统在提供细粒度的触觉/力反馈方面存在困难，这限制了可执行的任务范围。为了解决这些挑战，我们引入了 TactAR，这是一个低成本的远程操作系统，通过增强现实（AR）提供实时触觉反馈，并结合了一种新型的两阶段视觉-触觉模仿学习算法——反应扩散策略（RDP），用于学习复杂的接触性操作技能。RDP 采用两层层次结构：（1）低频的慢速潜在扩散策略，用于在潜在空间中预测高层动作分块；（2）高频的非对称标记器，用于闭环触觉反馈控制。这种设计能够在统一框架中实现复杂的轨迹建模和快速的反应行为。通过在三个具有挑战性的接触性任务上的广泛评估，RDP 显著提高了与最先进的视觉 IL 基线相比的表现。此外，实验结果表明，RDP 在不同类型的触觉/力传感器上都是适用的。代码和视频可在 https://reactive-diffusion-policy.github.io 获取。