LLM2D
DeepRAG:逐步思考到检索的大语言模型
DeepRAG: Thinking to Retrieval Step by Step for Large Language Models
作者: Xinyan Guan, Jiali Zeng, Fandong Meng, Chunlei Xin, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun, Jie Zhou
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.01142v1

摘要

arXiv:2502.01142v1 宣布类型: new 摘要: 大型语言模型(LLMs)在推理方面表现出色,但由于参数知识的时间性、准确性和覆盖面,它们仍然会遭受严重的事实幻觉。同时,将推理与检索增强生成(RAG)集成仍然具有挑战性,因为任务分解不有效和检索冗余可能导致引入噪声并降低响应质量。本文提出了一种名为DeepRAG的框架,将检索增强推理建模为马尔可夫决策过程(MDP),从而实现战略性且适应性的检索。通过迭代分解查询,DeepRAG在每一步动态决定是检索外部知识还是依赖于参数推理。实验结果表明,DeepRAG在提高检索效率的同时,回答准确性提高了21.99%,证明了其在优化检索增强推理方面的有效性。