LLM2D
CtrlA:基于内在控制的自适应检索增强生成
CtrlA: Adaptive Retrieval-Augmented Generation via Inherent Control
作者: Huanshuo Liu, Hao Zhang, Zhijiang Guo, Jing Wang, Kuicai Dong, Xiangyang Li, Yi Quan Lee, Cong Zhang, Yong Liu
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2405.18727v2

摘要

检索增强生成 (RAG) 已成为缓解大型语言模型 (LLM) 幻觉并利用外部知识的有效解决方案。自适应 RAG 通过在生成过程中启用动态检索来增强这种方法,仅当查询超出 LLM 的内部知识时才激活检索。现有方法主要集中于通过统计不确定性检测 LLM 的置信度。相反,我们提出了从表示角度解决自适应 RAG 的首次尝试,并开发了一个基于内在控制的框架,称为 \name。具体来说,我们提取了代表 LLM 诚实度和置信度方向的特征,并利用它们来控制 LLM 行为并指导检索时间决策。我们还设计了一种简单而有效的查询制定策略来支持自适应检索。实验表明,\name 在各种任务上优于现有的自适应 RAG 方法,诚实度引导可以有效地使 LLM 更诚实,而置信度监控是检索触发器的有效指标。我们的代码可在 \url{https://github.com/HSLiu-Initial/CtrlA} 获取。