LLM2D
使用状态扩散和逆动力学模型学习协调双臂操作策略
Learning Coordinated Bimanual Manipulation Policies using State Diffusion and Inverse Dynamics Models
作者: Haonan Chen, Jiaming Xu, Lily Sheng, Tianchen Ji, Shuijing Liu, Yunzhu Li, Katherine Driggs-Campbell
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2503.23271v1

摘要

arXiv:2503.23271v1 交叉公告类型 摘要:在进行如洗衣等任务时,人类自然地协调两只手来操作物体,并预测他们的动作将如何改变衣物的状态。然而,机器人实现这种协调仍然是一个挑战,因为需要建模物体运动、预测未来状态以及生成精确的双臂动作。本研究通过将人类操作策略的预测性质融入到机器人模仿学习中,解决了这些挑战。具体来说,我们从代理特定的逆动力学建模中分离出任务相关的状态转换,以实现有效的双臂协调。使用一个演示数据集,我们训练了一个扩散模型,根据历史观察预测未来状态,设想场景如何演变。然后,我们使用一个逆动力学模型来计算使预测状态得以实现的机器人动作。我们的关键见解是,建模物体运动有助于学习双臂协调操作任务的策略。在包括多模态目标配置、双臂操作、可变形物体和多对象配置等多样化的模拟和真实世界操作设置中,我们发现我们的框架在性能上始终优于最先进的状态到动作映射策略。我们的方法展示了出色的导航多模态目标配置和动作分布的能力,能够在不同的控制模式下保持稳定性,并且合成出比演示数据集中更多的行为。