LLM2D
杂乱环境中通过手物接触语义映射实现多指机器人手抓取
Multi-fingered Robotic Hand Grasping in Cluttered Environments through Hand-object Contact Semantic Mapping
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2404.08844v2

摘要

深度学习模型显著提高了多指手抓取的灵巧操作技术。然而,在杂乱环境中的基于接触信息引导的抓取仍然很少被探索。为了解决这一问题,我们开发了一种通过接触语义图生成杂乱环境中多指手抓取样本的方法。我们引入了一种接触语义条件变分自编码器网络(CoSe-CVAE),用于从物体点云创建全面的接触语义图。我们利用抓取检测方法从接触语义图估计手抓取姿势。最后,设计了一个统一的抓取评估模型来评估抓取质量和碰撞概率,大大提高了在杂乱场景中识别最佳抓取的可靠性。我们的抓取生成方法表现出显著成功,在真实单物体环境中以81.0%的平均抓取成功率和在杂乱场景中以75.3%的抓取成功率超越了最先进的方法至少4.65%。我们还提出了多模态多指抓取数据集生成方法。我们多指手抓取数据集在场景多样性和模态多样性方面优于以前的数据集。数据集、代码和补充材料可以在https://sites.google.com/view/ffh-cluttered-grasping找到。