arXiv:2504.14858v1 发布类型: 新 摘要: 回忆增强生成（RAG）已成为基于知识的文本生成的基础范式。然而，现有的RAG管道往往无法确保生成的推理轨迹与检索内容施加的证据约束一致。在本文中，我们重新定义RAG为 retrieval-aware 推理问题，并识别出一个核心挑战：推理失衡——模型的推理轨迹与检索到的证据之间的不匹配。为了解决这一挑战，我们提出了 AlignRAG，这是一种新的测试时框架，通过迭代的 Critique-Driven Alignment (CDA) 步骤来缓解推理失衡。与依赖静态训练或事后选择的先前方法不同，AlignRAG 在推理过程中积极地通过证据的细粒度对齐来细化推理轨迹。我们的框架通过以下方式引入一种 retrieval-aware 推理的新范式：（1）构建丰富的训练语料库；（2）从意识偏好的推理轨迹中生成对比批评；（3）训练一个专门的 Critic 语言模型（CLM）以识别推理失衡；（4）应用 CDA 步骤以迭代优化推理轨迹。实验证明，AlignRAG 一贯优于所有基线方法，并且可以在不进行进一步更改的情况下集成到现有的 RAG 管道中作为即插即用模块。通过将 RAG 重新概念化为结构化的推理轨迹，并建立了用于在 RAG 中纠正推理失衡的测试时框架，AlignRAG 为 retrieval-aware 生成提供了实用的进步。