大型语言模型（LLMs）最近作为解决具有动作和观察不确定性的复杂机器人任务的有力工具而崭露头角。最近基于LLM的决策方法（也称为基于LLM的代理），在与适当的批评者结合时，展示了在相对较少的交互中解决复杂、长期任务的潜力。然而，大多数现有的基于LLM的代理缺乏保留和从过去交互中学习的能力——这是基于学习的机器人系统的基本特征。我们提出了RAG-Modulo框架，该框架通过记忆过去的交互并结合批评者来评估代理的决策，从而增强基于LLM的代理。记忆组件使代理能够自动检索并整合相关的过去经验作为上下文示例，为更明智的决策提供上下文感知的反馈。此外，通过更新其记忆，代理随着时间的推移提高其性能，从而表现出学习能力。通过在具有挑战性的BabyAI和AlfWorld领域进行的实验，我们展示了任务成功率和效率的显著提升，表明所提出的RAG-Modulo框架优于最先进的基线。