摘要
arXiv:2504.10529v1 Announce Type: cross
摘要:检索增强生成(RAG)方法可以通过将检索到的知识片段融入生成过程中来提升LLM的表现。通常,检索和生成步骤对这些知识片段的要求不同。检索步骤可以从全面的信息中受益,以提高检索准确性,而过长的知识片段可能会引入冗余的上下文信息,从而降低生成过程的有效性和效率。然而,现有的RAG方法通常使用相同的知识片段表示来进行检索和生成,导致性能欠佳。本文提出了一种异构RAG框架(\myname),在检索和生成中分离知识片段的表示,从而在提高LLM的有效性和效率方面取得提升。具体来说,我们使用短片段来表示知识,以适应生成步骤,并利用从多粒度视角获取的相应片段及其上下文信息来提高检索准确性。此外,我们还引入了一种适应性提示调整方法来适应异构检索增强生成过程。广泛的实验证明,\myname 在与基准方法的比较中取得了显著的改进。