arXiv:2503.23895v4 公告类型: replace-cross 摘要: 回忆增强生成（RAG）通过从外部来源检索相关文档并将它们整合到上下文中，增强了大型语言模型（LLMs）。虽然这通过提供事实性文本提高了可靠性，但随着上下文长度的增加，它显著增加了推理成本，并引入了RAG幻觉的挑战性问题，主要是由于LLMs缺乏相应的参数知识。一个有效的解决方案是在测试时增强LLMs的知识。参数化RAG（PRAG）通过将文档嵌入到LLMs参数中，在离线训练中有效减少推理成本来解决这一问题。然而，PRAG的高训练和存储成本，以及有限的一般化能力，极大地限制了其实用性。为了解决这些挑战，我们提出了一种新颖的框架——动态参数化RAG（DyPRAG），该框架利用一个轻量级参数翻译模型高效地将文档转换为参数化知识。DyPRAG不仅减少了推理、训练和存储成本，还动态生成了参数化知识，在不影响LLMs的知识增强和解决测试时的知识冲突方面表现出无缝的方式。在多个数据集上的广泛实验展示了DyPRAG的有效性和泛化能力，提供了强大的且实用的RAG范式，能够在实际应用中实现优越的知识融合并减轻RAG幻觉。我们的代码可在 https://github.com/Trae1ounG/DyPRAG 获取。