arXiv:2504.01281v2 公告类型: replace-cross 摘要：我们提出了一种全面的框架，通过动态检索策略和强化微调来增强检索增强生成（RAG）系统。这种方法显著提高了大型语言模型在知识密集型任务上的表现，包括开放式领域问答和复杂推理。我们的框架整合了两种互补的技术：政策优化检索增强生成（PORAG），它优化了检索信息的使用，以及自适应标记层注意力评分（ATLAS），它根据上下文需求动态确定检索的时间和内容。这两种技术共同提高了检索内容的利用和相关性，提高了事实准确性并提升了响应质量。作为与任何基于Transformer的大型语言模型兼容的轻量级解决方案，我们的框架无需额外训练就能在知识密集型任务中表现出色，提高了RAG设置中的输出准确率。我们还提出了CRITIC，一种新颖的方法，通过根据标记的重要性有选择地压缩关键值缓存，来缓解长期上下文应用中的内存瓶颈。该框架还整合了测试时缩放技术，动态平衡推理深度和计算资源，并包含优化解码策略以实现更快的推理。基准数据集上的实验表明，我们的框架减少了幻觉现象，加强了领域特定的推理，并在传统RAG系统中实现了显著的效率和可扩展性提升。该集成方法促进了稳健、高效和可扩展的RAG系统在各种应用中的发展。