arXiv:2504.01281v1 通告类型: cross 摘要: 我们提出了一种全面的框架，通过动态检索策略和强化微调来增强检索增强生成（RAG）系统。这种方法在包括开放域问答和复杂推理在内的知识密集型任务上显著提高了大型语言模型的效果。我们的框架结合了两种互补的技术：策略优化检索增强生成（PORAG），该技术优化了检索信息的使用，以及自适应标记层注意力得分（ATLAS），该技术根据上下文需求动态确定检索时机和内容。这些技术共同提高了检索内容的利用和相关性，从而提高了事实准确性并提升了响应质量。作为轻量级解决方案，我们的框架可以在不需额外训练的情况下与任何基于Transformer的大型语言模型兼容，该框架在知识密集型任务中表现出色，提高了RAG设置下的输出准确率。我们还提出了CRITIC，这是一种新颖的方法，通过标记的重要程度选择性地压缩关键值缓存，以缓解长上下文应用中的内存瓶颈。该框架还结合了测试时缩放技术，动态平衡推理深度和计算资源，并采用优化的解码策略以实现更快的推理。在基准数据集上的实验表明，我们的框架减少了幻觉现象，加强了领域特定的推理，并在传统的RAG系统上实现了显著的效率和可扩展性改进。这种集成方法推进了稳健、高效和可扩展的RAG系统在各种应用中的发展。