摘要
arXiv:2501.02020v3 宣告类型: replace-cross
摘要:大型语言模型(LLMs)容易生成非事实或不忠实的陈述,这损害了其在现实世界场景中的应用。最近的研究集中在基于不确定性的幻觉检测上,通过利用LLM的输出概率来进行不确定性的计算,而无需依赖外部知识或频繁从LLM中抽样。然而,大多数方法仅考虑单个独立词的不确定性,而词和句子间的复杂语义关系并未得到充分研究,这限制了对跨越多个词和句子的幻觉的检测。在本文中,我们提出了一种通过语义图增强不确定性建模以提高幻觉检测的方法。具体而言,我们首先构建了一个能够很好地捕捉实体词和句子间关系的语义图。然后,我们将两个实体之间的关系纳入不确定性传播中,以增强句子级别的幻觉检测。鉴于幻觉是由于句子间的冲突引起的,我们还提出了一种基于图的不确定性校准方法,该方法将句子与其语义图中邻居的矛盾概率结合起来,用于不确定性计算。在两个数据集上的广泛实验表明,我们提出的方法具有巨大的优势,特别是在段落级别的幻觉检测中,我们获得了19.78%的显著改进。