arXiv:2409.05591v3 公告类型: replace-cross 摘要：处理长上下文对大规模语言模型（LLMs）来说是一个重大挑战。虽然近期的进步使LLMs能够处理比以前更长的上下文（例如，32K或128K标记），但计算成本仍然很高，对许多应用程序来说可能仍然不足。检索增强生成（RAG）被认为是解决这个问题的一种有前景的策略。然而，传统的RAG方法因其两个基本要求而存在固有的局限性：1）显式的问题查询，2）结构良好的知识。然而，在一般的长上下文处理任务中，这些条件并不成立。 在这项工作中，我们提出了一种名为MemoRAG的新颖RAG框架，该框架配备了全局增强检索的记忆功能。MemoRAG采用了双系统架构。首先，它使用一个轻量级但具有长距离处理能力的系统来创建长上下文的全局记忆。当任务出现时，它生成草稿答案，为检索工具定位长上下文中相关的信息提供有用的线索。其次，它利用一个昂贵但表达能力强的系统，基于检索到的信息生成最终答案。在此基本框架的基础上，我们通过键值压缩的形式实现了记忆模块，并通过生成质量的反馈（即RLGF）增强了其记忆和提示能力。在我们的实验中，MemoRAG在各种长上下文评估任务中表现出优越的性能，不仅在传统RAG方法遇到困难的复杂场景中表现优异，在RAG通常被应用的较简单场景中也表现出色。