arXiv:2505.06363v1 宣告类型: cross 摘要：随着机器人越来越通用并在多种环境中部署，它们必须与复杂的物体交互，这些物体中有很多具有多个独立关节或自由度（DoF），需要精确控制。一种常见的策略是物体建模，即从实际观察中学习紧凑的状态空间模型，并与经典规划配对。然而，现有的方法往往依赖于先验知识，或者专注于单个DoF的物体，这限制了它们的应用范围。此外，它们无法处理被遮挡的关节，并且忽略了访问它们所需的操作序列。我们通过从人类示范中学习物体模型来解决这个问题。我们引入了物体运动序列机（OKSMs），这是一种新颖的表示法，可以捕捉多DoF物体的运动约束和操作顺序。为了从点云数据中估算这些模型，我们提出了Pokenet，这是一种深度神经网络，已在人类示范上进行训练。我们使用8,000个模拟和1,600个真实世界标注样本验证了我们的方法。与先前的方法相比，Pokenet在真实世界数据中提高了关节轴和状态估计超过20%。最后，我们使用基于逆向动力学的规划在萨沃亚（Sawyer）机器人上展示了OKSMs，以操纵多DoF物体。