LLM2D
MALMM:用于零样本机器人操作的多智能体大型语言模型
MALMM: Multi-Agent Large Language Models for Zero-Shot Robotics Manipulation
作者: Harsh Singh, Rocktim Jyoti Das, Mingfei Han, Preslav Nakov, Ivan Laptev
发布日期: 11/27/2024
arXiv ID: oai:arXiv.org:2411.17636v1

摘要

大型语言模型 (LLM) 在包括机器人操作和导航在内的各个领域都展现出非凡的规划能力。虽然最近机器人领域的努力利用 LLM 进行高级和低级规划,但这些方法往往面临着重大挑战,例如长时序任务中的幻觉以及由于单次生成计划而缺乏实时反馈导致的适应性有限。为了解决这些限制,我们提出了一种新颖的多智能体 LLM 框架,即用于操作的多智能体大型语言模型 (MALMM),该框架将高级规划和低级控制代码生成分布到专门的 LLM 智能体中,由一个额外负责动态管理转换的智能体进行监督。通过在每个步骤之后结合来自环境的观察结果,我们的框架有效地处理了中间故障并实现了自适应重新规划。与现有方法不同,我们的方法不依赖于预训练的技能策略或上下文学习示例,并且可以推广到各种新任务。我们在九个 RLBench 任务(包括长时序任务)上评估了我们的方法,并证明了其在零样本设置下解决机器人操作问题的能力,从而克服了现有基于 LLM 的操作方法的关键限制。