arXiv:2503.23895v2 宣布类型: 替换-交叉 摘要: 回忆增强生成 (RAG) 通过从外部来源检索相关文档并将它们融入上下文中来增强大型语言模型 (LLMs)。它通过提供事实性文本而提高可靠性，但随着上下文长度的增长，显著增加了推理成本，并引入了 RAG 错觉问题，主要原因是 LLM 中缺乏相应的参数性知识。一个有效的解决方案是在测试时增强 LLM 的知识。参数化 RAG (PRAG) 通过将文档嵌入 LLM 参数来进行测试时的知识增强，通过离线训练有效地降低推理成本。然而，其高训练和存储成本以及有限的泛化能力，严重限制了其实际应用。为了应对这些挑战，我们提出了动态参数化 RAG (DyPRAG)，这是一种利用轻量级参数转换模型高效地将文档转换为参数化知识的新框架。DyPRAG 不仅降低了推理、培训和存储成本，还动态生成参数化知识，无缝地增强了 LLM 的知识，并在测试时以即插即用的方式解决知识冲突。在多个数据集上的广泛实验表明了 DyPRAG 的有效性和泛化能力，提供了一种强大的实用 RAG 架构，能够在实际应用中实现卓越的知识融合并减轻 RAG 错觉。我们的代码可在 https://github.com/Trae1ounG/DyPRAG 上获取。