LLM2D
基于图的上下文知识三元组建模的零资源文本生成幻觉检测
Zero-resource Hallucination Detection for Text Generation via Graph-based Contextual Knowledge Triples Modeling
作者: Xinyue Fang, Zhen Huang, Zhiliang Tian, Minghui Fang, Ziyi Pan, Quntian Fang, Zhihua Wen, Hengyue Pan, Dongsheng Li
发布日期: 9/26/2024
arXiv ID: oai:arXiv.org:2409.11283v3

摘要

大型语言模型(LLMs)在众多自然语言处理任务中取得了显著的性能,但它们也存在幻觉问题。大多数关于检测幻觉的研究集中在具有简短、具体且易于验证真实性的正确答案的问题上。对于具有开放式答案的文本生成,幻觉检测更具挑战性。一些研究人员使用外部知识来检测生成的文本中的幻觉,但特定场景的外部资源难以获取。最近关于检测长文本中幻觉(不使用外部资源)的研究进行了多个采样输出之间的一致性比较。为了处理长文本,研究人员将长文本拆分为多个事实,并分别比较每对事实的一致性。然而,这些方法(1)难以在多个事实之间实现对齐;(2)忽略了多个上下文事实之间的依赖关系。在本文中,我们提出了一种基于图的上下文感知(GCA)幻觉检测方法,用于文本生成,该方法对齐知识事实,并在一致性比较中考虑上下文知识三元组之间的依赖关系。特别地,为了对齐多个事实,我们进行了面向三元组的响应分割,以提取多个知识三元组。为了对上下文知识三元组(事实)之间的依赖关系进行建模,我们将上下文三元组构建成一个图,并通过消息传递和通过 RGCN 聚合来增强三元组的交互作用。为了避免在长文本中省略知识三元组,我们通过重建知识三元组进行了基于 LLMs 的逆向验证。实验表明,我们的模型增强了幻觉检测,并优于所有基线模型。