摘要
在日常生活中,铰接物体随处可见。对于现实世界中的机器人应用而言,机器人能够展现出对铰接物体的稳健感知和操控能力至关重要。然而,现有的铰接物体方法无法充分解决点云中的噪声问题,并且难以弥合仿真和现实之间的差距,从而限制了其在现实世界场景中的实际部署。为了解决这些挑战,我们提出了一种面向铰接物体的稳健感知和操控框架 (RPMArt),该框架能够从噪声点云中学习估计铰接参数并操控铰接部件。我们的主要贡献是稳健铰接网络 (RoArtNet),该网络能够通过局部特征学习和点元组投票来稳健地预测关节参数和可操作点。此外,我们还引入了一种铰接感知分类方案,以增强其在仿真到现实迁移方面的能力。最后,利用估计的可操作点和铰接关节约束,机器人可以生成稳健的动作来操控铰接物体。在仅从合成数据中学习之后,RPMArt 能够零样本迁移到现实世界的铰接物体。实验结果证实了我们方法的有效性,我们的框架在添加噪声的仿真和现实世界环境中都取得了最先进的性能。代码、数据和更多结果可以在项目网站上找到:https://r-pmart.github.io。