LLM2D
StructRAG:通过推理时混合信息结构化增强大型语言模型的知识密集型推理能力
StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization
作者: Zhuoqun Li, Xuanang Chen, Haiyang Yu, Hongyu Lin, Yaojie Lu, Qiaoyu Tang, Fei Huang, Xianpei Han, Le Sun, Yongbin Li
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2410.08815v1

摘要

检索增强生成 (RAG) 是在许多知识型任务中有效增强大型语言模型 (LLM) 的关键手段。然而,现有的 RAG 方法在知识密集型推理任务中举步维艰,因为这些任务所需的有效信息严重分散。这种特征使得现有的 RAG 方法难以准确识别关键信息,并对这种噪声增强进行全局推理。在本文中,受人类在处理知识密集型推理时将原始信息转换为各种结构化知识的认知理论的启发,我们提出了一种新的框架 StructRAG,它可以识别当前任务的最佳结构类型,将原始文档重建成这种结构化格式,并根据生成的结构推断答案。在各种知识密集型任务上的大量实验表明,StructRAG 实现了最先进的性能,特别是在具有挑战性的场景中表现出色,证明了它作为一种有效解决方案的潜力,可以增强 LLM 在复杂现实世界应用中的能力。