LLM2D
KAG:通过知识增强生成提升专业领域大型语言模型能力
KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation
作者: Lei Liang, Mengshu Sun, Zhengke Gui, Zhongshu Zhu, Zhouyu Jiang, Ling Zhong, Yuan Qu, Peilong Zhao, Zhongpu Bo, Jin Yang, Huaidong Xiong, Lin Yuan, Jun Xu, Zaoyang Wang, Zhiqiang Zhang, Wen Zhang, Huajun Chen, Wenguang Chen, Jun Zhou
发布日期: 9/27/2024
arXiv ID: oai:arXiv.org:2409.13731v3

摘要

近年来发展起来的检索增强生成(RAG)技术,为构建特定领域的应用提供了高效的途径。然而,它也存在一些局限性,包括向量相似度与知识推理的相关性之间的差距,以及对知识逻辑的敏感性不足,例如数值、时间关系、专家规则等,这些都阻碍了专业知识服务的有效性。在这项工作中,我们介绍了一种名为知识增强生成(KAG)的专业领域知识服务框架。KAG旨在解决上述挑战,其目标是充分利用知识图谱(KG)和向量检索的优势,通过五个关键方面双向增强大型语言模型(LLM)和KG,从而提高生成和推理性能:(1)LLM友好的知识表示,(2)知识图谱与原始片段之间的互索引,(3)逻辑形式引导的混合推理引擎,(4)知识与语义推理的对齐,以及(5)KAG模型能力增强。我们比较了KAG与现有的RAG方法在多跳问答中的表现,发现它显著优于最先进的方法,在F1得分方面,在2wiki上相对提高了19.6%,在hotpotQA上相对提高了33.5%。我们已成功将KAG应用于蚂蚁集团的两个专业知识问答任务,包括电子政务问答和电子健康问答,与RAG方法相比,在专业性方面取得了显著进步。