LLM2D
基于 SAM2 跟踪的在线轴估计用于关节物体操控
Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking
发布日期: 9/25/2024
arXiv ID: oai:arXiv.org:2409.16287v1

摘要

关节式物体操作需要精确的物体交互,其中物体的轴线必须仔细考虑。以往的研究采用交互式感知来操纵关节式物体,但通常,开环方法往往会忽略交互动力学。为了解决这一限制,我们提出了一种将交互式感知与从分割后的3D点云中在线估计轴线相结合的闭环管道。我们的方法利用任何交互式感知技术作为交互式感知的基础,诱发轻微的物体运动,从而生成不断变化的动态场景的点云帧。然后使用 Segment Anything Model 2 (SAM2) 对这些点云进行分割,之后对物体移动的部分进行掩蔽,以实现准确的运动在线轴线估计,从而指导后续的机器人动作。我们的方法显著提高了涉及关节式物体的操作任务的精度和效率。在模拟环境中的实验表明,我们的方法优于基线方法,尤其是在需要精确的基于轴线的控制的任务中。项目页面:https://hytidel.github.io/video-tracking-for-axis-estimation/.