arXiv:2402.17767v2 编码类型：替换-交叉 摘要：构建能在未见过的对象和环境中熟练操作的移动操控系统需要什么条件？本工作通过使用开合关节对象作为移动操控测试平台来回答这个问题。具体而言，我们的重点是完成此任务的端到端性能，而不使用任何特权信息。机器人在一个能看到新目标关节对象的位置开始，需要接近对象并成功打开它。我们首先开发了这项任务的系统，然后在13个实际测试地点进行了超过100次的端到端系统测试。我们的大规模研究揭示了一些令人惊讶的发现：a) 在任务中，模块化系统的表现优于端到端学习系统，即使端到端学习系统在1000多次示范的基础上进行了训练；b) 感知才是任务成功的主要瓶颈，而不是精确的末端执行器控制；c) 在孤立条件下开发的最先进的关节参数估计模型在面对机器人为中心的视角时表现不佳。总体而言，我们的发现强调了独立开发管道组件的局限性，并强调了系统层面研究的必要性，为构建可泛化的移动操控系统提供了一个务实的路线图。项目网站上提供相关的视频、代码和模型：https://arjung128.github.io/opening-articulated-objects/