arXiv:2503.23895v1 交叉类型：cross 摘要：检索增强生成（RAG）通过从外部来源检索相关文档并将它们纳入上下文中，增强了大语言模型（LLMs）。尽管这通过提供事实性文本来提高可靠性，但随着上下文长度的增加，它显著增加了推断成本，并引入了RAG幻觉的挑战性问题，主要原因是LLMs中缺少相应的参数化知识。一种有效的解决方案是在测试时增强LLMs的知识。参数化RAG（PRAG）通过将文档嵌入到LLMs参数中来进行测试时的知识增强，从而通过离线训练有效减少了推断成本。然而，其高训练和存储成本，以及有限的泛化能力，显著限制了其实际应用。为解决这些挑战，我们提出了一种新型的Dynamic Parametric RAG（DyPRAG），该框架利用轻量级参数转换器模型来高效地将文档转换为参数化知识。DyPRAG不仅减少了推断、训练和存储成本，还能动态生成参数化知识，无缝增强LLMs的知识，并以插件式方式在测试时解决知识冲突。在多个数据集上的广泛实验表明，DyPRAG的有效性和泛化能力，提供了强大的且实际可行的RAG范式，该范式能够实现更优秀的知识融合，并减轻了现实应用中的RAG幻觉问题。我们的代码可在https://github.com/Trae1ounG/DyPRAG获取。