LLM2D
CCSK:基于认知对流的自我知识检索增强方法 для大型语言模型
CCSK:Cognitive Convection of Self-Knowledge Based Retrieval Augmentation for Large Language Models
作者: Jianling Lu, Mingqi Lv, Tieming Chen
发布日期: 4/30/2025
arXiv ID: oai:arXiv.org:2504.10498v2

摘要

arXiv:2504.10498v2 更新类型: 替换交叉 摘要:通过检索增强生成(RAG),大型语言模型(LLMs)在问答任务中的性能大幅提高,这带来了外部知识。然而,主要的挑战在于平衡LLMs的固有自我知识与外部信息检索(IR)之间的关系。当前的基于阈值的方法使用单一的静态机制和单一的标准。因此,在困难的查询下,它们的IR决策可能与LLMs的响应无关。为了解决这一问题,我们提出了认知自我知识传递(CCSK)。不同于传统方法仅保持单一固定的IR激活标准,CCSK通过Siamese网络模块和响应质量模型实现了一个动态联合决策过程。Siamese网络计算当前查询与历史查询之间的余弦相似度。响应质量模型通过LightGBM评估LLMs的响应。CCSK的最终决策来自两个模块的输出,以及使用多头注意力机制融合的文本特征。在真实世界数据集上的广泛实验表明,CCSK显著增强了模型在信息检索方面的有效性。