LLM2D
EnvBridge:基于跨环境知识迁移的具身人工智能多环境桥接方法
EnvBridge: Bridging Diverse Environments with Cross-Environment Knowledge Transfer for Embodied AI
作者: Tomoyuki Kagaya, Yuxuan Lou, Thong Jing Yuan, Subramanian Lakshmi, Jayashree Karlekar, Sugiri Pranata, Natsuki Murakami, Akira Kinose, Koki Oguri, Felix Wick, Yang You
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2410.16919v1

摘要

近年来,大型语言模型(LLM)展现出强大的推理能力,使其在各种决策过程中作为智能体的应用备受关注。LLM智能体在机器人操作中的应用尤其引人注目。最近的研究表明,LLM可以为机器人生成文本规划或控制代码,从而提供强大的灵活性和交互能力。然而,这些方法在灵活性和跨不同环境的适用性方面仍然面临挑战,限制了它们自主适应的能力。当前的方法通常分为两类:一类依赖于特定环境的策略训练,这限制了其可迁移性;另一类基于固定提示生成代码动作,这导致在面对新环境时性能下降。这些限制严重制约了机器人操作中智能体的泛化能力。为了解决这些限制,我们提出了一种新方法,称为EnvBridge。这种方法涉及将成功的机器人控制代码从源环境保留并转移到目标环境。EnvBridge通过利用多个环境中的见解,增强了智能体在不同环境中的适应性和性能。值得注意的是,我们的方法减轻了环境约束,为机器人操作任务提供了更灵活和更通用的解决方案。我们使用机器人操作基准测试(RLBench、MetaWorld和CALVIN)验证了我们方法的有效性。我们的实验表明,LLM智能体可以成功地利用多种知识来源来解决复杂的任务。因此,我们的方法显著增强了机器人操作智能体在跨不同环境进行规划时的适应性和鲁棒性。