摘要
大型语言模型 (LLMs) 在文本生成方面表现出色。然而,LLMs 仍然存在幻觉问题。在这项工作中,我们提出了一种推理时方法,即自我突出犹豫 (SH2),以帮助 LLMs 更真实地解码。SH2 基于信息论的一个简单事实,即对于 LLM 而言,预测概率较低的标记往往比其他标记更具信息量。我们的分析表明,LLM 赋予较低概率的标记更有可能与事实信息密切相关,例如名词、专有名词和形容词。因此,我们建议通过选择概率最低的标记并将它们与原始上下文连接起来,来“突出”事实信息,从而迫使模型在生成之前反复阅读和犹豫这些标记。在解码过程中,我们还采用了对比解码来强调犹豫带来的输出概率差异。实验结果表明,我们的 SH2 不需要额外的數據或模型,可以有效地帮助 LLMs 提取事实知识并区分幻觉上下文。SH2 在多个幻觉任务上针对 LLaMA-7b、LLaMA2-7b 和 Mistral-7b 取得了显著且一致的改进。