摘要
具身AI代理负责执行相互关联的长序列家庭任务时,常常面临上下文记忆的困难,导致任务执行中的低效和错误。为解决这一问题,我们引入了KARMA,一种创新的记忆系统,它集成了长期和短期记忆模块,通过记忆增强提示来增强大型语言模型(LLMs)在具身代理中的规划能力。KARMA区分了长期和短期记忆,长期记忆捕捉全面的3D场景图作为环境表示,而短期记忆动态记录物体位置和状态的变化。这种双记忆结构使代理能够检索相关的过去场景经验,从而提高任务规划的准确性和效率。短期记忆采用有效的自适应记忆替换策略,确保保留关键信息的同时丢弃不相关数据。与现有最先进的具身代理相比,我们的记忆增强具身AI代理在AI2-THOR模拟器中的复合任务和复杂任务中分别提高了1.3倍和2.3倍的成功率,并分别提高了3.4倍和62.7倍的任务执行效率。此外,我们展示了KARMA的即插即用功能使其能够无缝部署在现实世界的机器人系统上,如移动操作平台。通过这种即插即用记忆系统,KARMA显著增强了具身代理生成连贯且上下文相关计划的能力,使复杂家庭任务的执行更加高效。相关实验视频可在https://youtu.be/4BT7fnw9ehs找到。