arXiv:2502.11124v1 描述类型: cross 摘要: 半结构化物体操作是机器人在现实世界场景中执行各种任务的关键能力。由多个通过关节连接的部分组成的半结构化物体通过复杂的相对运动获得了多种功能机制。例如，保险箱包括门、把手和锁，只有当锁解锁时门才能打开。内部结构，如锁的状态或关节角度的约束，从视觉观察中无法直接观测到。因此，成功操作这些物体需要基于尝试和错误进行适应性调整，而不是一次性视觉推理。然而，现有用于半结构化物体的先前数据集和仿真环境主要集中在简单操作机制上，在这种机制中，物体的外观可以推断出完整的操作过程。为了增强适应性操作机制的多样性和复杂性，我们建立了一个新的半结构化物体操作环境，并为其配备了9类物体。基于该环境和物体，我们进一步提出了一种适应性演示收集和基于3D视觉扩散的模仿学习管道，用于学习适应性操作策略。通过仿真和实地实验验证了我们设计的有效性和提出的方法。我们的项目页面可在以下网址访问：https://adamanip.github.io