摘要
arXiv:2501.19318v1 Announce Type: 新
摘要:虽然大型语言模型(LLMs)在作为体感代理的零样本规划者方面显示出令人鼓舞的能力,但它们无法从经验中学习并构建持久的心理模型,这限制了它们在复杂的开放式环境(如Minecraft)中的鲁棒性。我们介绍了MINDSTORES,一种增强规划框架,使体感代理能够在自然与环境交互中构建和利用心理模型。我们的方法从人类如何构建和精炼认知心理模型中汲取灵感,通过维护一个包含过往经验的数据库来扩展现有的零样本LLM规划,这些数据库为未来的规划迭代提供信息。关键创新在于将积累的经验表示为(状态、任务、计划、结果)元组的自然语言嵌入,然后这些嵌入可以高效地被LLM规划者检索和推理,以生成见解并指导针对新状态和任务的计划细化。通过在MineDojo环境中进行广泛的实验,这是一个为Minecraft中的代理提供低级控制的模拟环境,我们发现MINDSTORES在学习和应用知识方面显著优于现有的基于记忆的LLM规划者,同时保持了零样本方法的灵活性和泛化优势,这标志着朝着通过自然体验不断学习的更强大的体感AI系统的重要一步。