LLM2D
DynamicRAG:将大型语言模型的输出作为反馈用于检索增强生成的动态重排名
DynamicRAG: Leveraging Outputs of Large Language Model as Feedback for Dynamic Reranking in Retrieval-Augmented Generation
作者: Jiashuo Sun, Xianrui Zhong, Sizhe Zhou, Jiawei Han
发布日期: 5/13/2025
arXiv ID: oai:arXiv.org:2505.07233v1

摘要

arXiv:2505.07233v1 类别: cross 摘要: 检索增强生成(RAG)系统将大型语言模型(LLMs)与外部知识检索相结合,使它们在知识密集型任务中非常有效。这些系统中的一个关键但经常被忽视的组件是重排序器,它通过细化检索到的文档来提高生成质量和可解释性。选择最佳文档数量(k)的问题仍然没有解决:文档数量太少可能会忽略关键信息,而太多则会引入噪声和不效率。尽管近期的研究已经探索了基于LLM的重排序器,但它们主要依赖于模型内部的知识,并且忽略了LLM可以提供的丰富的监督信号,例如将响应质量作为优化重排序决策的反馈。在本文中,我们提出了一种名为DynamicRAG的新型RAG框架,其中重排序器根据查询动态调整检索到的文档的顺序和数量。我们将重排序器建模为一个通过强化学习(RL)优化的代理,并使用来自LLM输出质量的奖励。在七个知识密集型数据集上,DynamicRAG展示了卓越的性能,达到最先进的结果。该模型、数据和代码可从https://github.com/GasolSun36/DynamicRAG获取。