LLM2D
基于LLM增强的具身代理在家庭机器人领域中的记忆增强任务规划
LLM-Empowered Embodied Agent for Memory-Augmented Task Planning in Household Robotics
作者: Marc Glocker, Peter H\"onig, Matthias Hirschmanner, Markus Vincze
发布日期: 5/1/2025
arXiv ID: oai:arXiv.org:2504.21716v1

摘要

arXiv:2504.21716v1 Announce Type: cross 摘要:我们提出了一种受身体约束的机器人系统,该系统具有由LLM驱动的作业调度架构,以实现自主家庭物体管理。该系统整合了记忆增强的任务规划,使机器人能够在跟踪过去行动的同时执行高级用户命令。该系统采用了三个专门的代理:路由代理、任务规划代理和知识库代理,每个代理都由任务特定的LLM提供动力。通过利用上下文学习,我们的系统避免了显式模型训练的需要。RAG使系统能够从过去的交互中检索上下文,从而增强长期物体跟踪。Grounded SAM和LLaMa3.2-Vision的结合提供了稳健的物体检测,有助于任务规划中的语义场景理解。在三个家庭场景中的评估显示了高任务规划准确性,并且由于RAG,记忆召回率有所提高。具体来说,Qwen2.5在专门的代理方面表现出最佳性能,而LLaMA3.1在路由任务方面表现出色。源代码可在以下网址获得:https://github.com/marc1198/chat-hsr。