摘要
在响应刺激时形成、检索和推理记忆的能力是通用智能的基石——它塑造了能够学习、适应和具有直觉洞察力的实体。大型语言模型 (LLM) 已经证明了它们的能力,在提供适当的记忆或上下文的情况下,能够推理并对刺激做出有意义的反应。然而,它们仍然无法以最佳方式编码、存储和检索记忆——实现这一能力将释放它们作为 AI 代理的全部能力,并使其能够专门化到利基领域。为了解决这个问题,一个很有希望的研究领域是检索增强生成 (RAG),其目标是通过为 LLM 提供丰富的上下文示例和信息来增强它们。在问答 (QA) 应用中,RAG 方法将感兴趣的文本分成块,并使用文本嵌入检索与提示最相关的块。受人类记忆编码和检索的启发,我们旨在通过生成和编码更高级别的信息以及通过其回答问题的效用对块进行标记来改进标准 RAG 方法。我们引入了用于检索增强生成的图形特征记忆 (GEM-RAG)。GEM-RAG 通过使用 LLM 生成的“效用”问题标记给定文本语料库中的每个文本块,根据其文本和效用问题的相似性将块连接在图中,然后使用记忆图的特征分解来构建捕获文本主要主题的更高级别的摘要节点。我们使用 UnifiedQA 和 GPT-3.5 Turbo 作为 LLM,使用 SBERT 和 OpenAI 的文本编码器在两个标准 QA 任务上评估 GEM-RAG,结果表明 GEM-RAG 在这些任务上优于其他最先进的 RAG 方法。我们还讨论了拥有强大的 RAG 系统的意义和未来的方向。