摘要
arXiv:2501.13567v2 通知类型: 替换-交叉
摘要:检索增强的问答(QA)通过整合外部信息,从而提高缺乏领域知识的阅读器模型的问答准确性。然而,闭域中检索到的文档需要很高的专业知识,因此阅读器模型可能难以完全理解文档文本。此外,检索到的文档包含数千个标记,其中一些与问题无关。因此,文档中包含了一些不准确的信息,这可能导致阅读器模型对段落产生不信任,并可能导致产生幻觉。为了解决这些问题,我们提出了K-comp(知识注入压缩器),它提供了正确回答所需的知识。压缩器在压缩检索到的段落后自动生成必要的先验知识,以促进答案过程。随后,段落按自回归方式压缩,生成的知识被整合到压缩过程中。这一过程确保了问题意图与压缩后的上下文之间的对齐。通过增强先验知识和简洁的上下文,阅读器模型能够被引导向相关答案,并信任该上下文。