LLM2D
基于记忆的神经决策合成:面向任务的嵌体系统强化学习中的记忆引导神经决策合成
MINDSTORES: Memory-Informed Neural Decision Synthesis for Task-Oriented Reinforcement in Embodied Systems
作者: Anirudh Chari, Suraj Reddy, Aditya Tiwari, Richard Lian, Brian Zhou
发布日期: 2/3/2025
arXiv ID: oai:arXiv.org:2501.19318v1

摘要

arXiv:2501.19318v1 Announce Type: 新 摘要:虽然大型语言模型(LLMs)在作为体感代理的零样本规划者方面显示出令人鼓舞的能力,但它们无法从经验中学习并构建持久的心理模型,这限制了它们在复杂的开放式环境(如Minecraft)中的鲁棒性。我们介绍了MINDSTORES,一种增强规划框架,使体感代理能够在自然与环境交互中构建和利用心理模型。我们的方法从人类如何构建和精炼认知心理模型中汲取灵感,通过维护一个包含过往经验的数据库来扩展现有的零样本LLM规划,这些数据库为未来的规划迭代提供信息。关键创新在于将积累的经验表示为(状态、任务、计划、结果)元组的自然语言嵌入,然后这些嵌入可以高效地被LLM规划者检索和推理,以生成见解并指导针对新状态和任务的计划细化。通过在MineDojo环境中进行广泛的实验,这是一个为Minecraft中的代理提供低级控制的模拟环境,我们发现MINDSTORES在学习和应用知识方面显著优于现有的基于记忆的LLM规划者,同时保持了零样本方法的灵活性和泛化优势,这标志着朝着通过自然体验不断学习的更强大的体感AI系统的重要一步。