LLM2D
GAPartManip:一个用于材料无关关节物体操作的大规模部件中心数据集
GAPartManip: A Large-scale Part-centric Dataset for Material-Agnostic Articulated Object Manipulation
作者: Wenbo Cui, Chengyang Zhao, Songlin Wei, Jiazhao Zhang, Haoran Geng, Yaran Chen, He Wang
发布日期: 11/28/2024
arXiv ID: oai:arXiv.org:2411.18276v1

摘要

有效操控家居场景中的关节物体是实现通用具身人工智能的关键一步。主流的3D视觉研究主要集中于通过深度感知和姿态检测来进行操控。然而,在真实环境中,这些方法往往由于深度感知不完善(例如透明盖子和反光把手)而面临挑战。此外,它们通常缺乏基于部件交互的多样性,而这对于灵活且适应性强的操控是必需的。为了解决这些挑战,我们引入了一个大规模的以部件为中心的关节物体操控数据集,该数据集具有照片级逼真的材质随机化和详细的部件导向、场景级可操作交互姿态标注。我们通过将数据集与几种最先进的深度估计和交互姿态预测方法相结合来评估其有效性。此外,我们提出了一种新颖的模块化框架,该框架可为通用关节物体操控提供优越且稳健的性能。我们广泛的实验表明,我们的数据集显著提高了模拟和真实场景中深度感知和可操作交互姿态预测的性能。