LLM2D
通过非标定触觉皮肤学习精确、丰富的接触式操作
Learning Precise, Contact-Rich Manipulation through Uncalibrated Tactile Skins
作者: Venkatesh Pattabiraman, Yifeng Cao, Siddhant Haldar, Lerrel Pinto, Raunaq Bhirangi
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2410.17246v1

摘要

尽管视觉运动策略学习已经推动了机器人操作技术的发展,但由于视觉在推理物理交互方面的局限性,精确执行富含接触的任务仍然具有挑战性。为了解决这个问题,最近的研究试图将触觉传感整合到策略学习中。然而,许多现有的方法依赖于光学触觉传感器,这些传感器要么局限于识别任务,要么需要复杂的降维步骤才能进行策略学习。在这项工作中,我们探索了使用磁性皮肤传感器学习策略,这种传感器固有地低维、高灵敏度且易于与机器人平台集成。为了有效地利用这些传感器,我们提出了 Visuo-Skin (ViSk) 框架,这是一种简单的方法,它使用基于 Transformer 的策略,并将皮肤传感器数据作为视觉信息之外的附加标记进行处理。在涉及信用卡刷卡、插头插入、USB 插入和书架检索的四个复杂的现实世界任务中进行评估,ViSk 的性能明显优于仅视觉和基于光学触觉传感的策略。进一步的分析表明,结合触觉和视觉模式可以增强策略性能和空间泛化能力,在各个任务中平均提高 27.5%。