arXiv:2503.23895v3 宣告类型: replace-cross 摘要: 检索增强生成 (RAG) 通过从外部来源检索相关文档并将它们融入到上下文中，增强了大型语言模型 (LLMs)。虽然它通过提供事实性文本提高了可靠性，但在上下文长度增长时显著增加了推理成本，并引入了 RAG 幻觉的挑战性问题，主要原因是 LLM 缺乏相应的参数知识。一种有效的解决方案是在测试时增强 LLM 的知识。参数化 RAG (PRAG) 通过将文档嵌入到 LLM 的参数中来进行测试时的知识增强，通过离线训练有效地降低了推理成本。然而，其高昂的训练和存储成本，以及有限的泛化能力，显著限制了其实际应用。为了解决这些挑战，我们提出了动态参数化 RAG (DyPRAG)，这是一种新的框架，利用轻量级的参数翻译模型高效地将文档转换为参数知识。DyPRAG 不仅降低了推理、训练和存储成本，还能动态生成参数知识，无缝增强 LLM 的知识，并在测试时以即插即用的方式解决知识冲突。在多个数据集上的 extensive 实验展示了 DyPRAG 的有效性和泛化能力，提供了一种强大的实用 RAG 架构，能够在实际应用中实现卓越的知识融合并缓解 RAG 幻觉。我们的代码可在 https://github.com/Trae1ounG/DyPRAG 获取。