摘要
arXiv:2504.21716v1 Announce Type: cross
摘要:我们提出了一种受身体约束的机器人系统,该系统具有由LLM驱动的作业调度架构,以实现自主家庭物体管理。该系统整合了记忆增强的任务规划,使机器人能够在跟踪过去行动的同时执行高级用户命令。该系统采用了三个专门的代理:路由代理、任务规划代理和知识库代理,每个代理都由任务特定的LLM提供动力。通过利用上下文学习,我们的系统避免了显式模型训练的需要。RAG使系统能够从过去的交互中检索上下文,从而增强长期物体跟踪。Grounded SAM和LLaMa3.2-Vision的结合提供了稳健的物体检测,有助于任务规划中的语义场景理解。在三个家庭场景中的评估显示了高任务规划准确性,并且由于RAG,记忆召回率有所提高。具体来说,Qwen2.5在专门的代理方面表现出最佳性能,而LLaMA3.1在路由任务方面表现出色。源代码可在以下网址获得:https://github.com/marc1198/chat-hsr。