LLM2D
机器人也能多任务:集成记忆架构和大型语言模型以增强跨任务机器人动作生成
Robots Can Multitask Too: Integrating a Memory Architecture and LLMs for Enhanced Cross-Task Robot Action Generation
作者: Hassan Ali, Philipp Allgeuer, Carlo Mazzola, Giulia Belgiovine, Burak Can Kaplan, Luk\'a\v{s} Gajdo\v{s}ech, Stefan Wermter
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2407.13505v2

摘要

大型语言模型 (LLMs) 近年来被应用于机器人领域,用于将 LLM 的常识推理与机器人的感知和物理能力相结合。在类人机器人中,记忆在培养现实世界中的具身性以及促进长期交互能力方面也起着至关重要的作用,尤其是在多任务环境中,机器人必须记住之前的任务状态、环境状态和执行的动作。本文探讨了将记忆过程与 LLM 相结合以生成跨任务机器人动作的方法,同时机器人可以在任务之间有效切换。我们提出的双层架构包含两个 LLM,利用其在推理和遵循指令方面的互补技能,并结合了受人类认知启发的记忆模型。我们的结果表明,在五个机器人任务的基线上,性能得到了显著提升,证明了将记忆与 LLM 集成以结合机器人的动作和感知以适应性地执行任务的潜力。