arXiv:2502.00290v3 宣布类型: replace-cross 摘要：在过去的几年里，大型语言模型（LLMs）取得了快速发展，并广泛应用于各个领域。然而，LLMs 面临着幻觉的问题，在模型缺乏相关知识时，生成的响应可能不可靠。为了意识到潜在的幻觉，已经引入了不确定性估计方法，大多数方法都证实了可靠性在于关键令牌。然而，基于概率的方法在识别令牌可靠性方面表现不佳，限制了它们的实际应用价值。在本文中，我们揭示了基于概率的方法由于训练阶段积累的证据强度信息丢失而无法估计令牌可靠性。因此，我们提出了 Logits-诱导令牌不确定性（LogTokU），一种用于在LLMs中估计解耦合令牌不确定性的框架，能够在不需要多次采样过程的情况下进行实时不确定性估计。我们采用证据建模来实现 LogTokU，并使用估计的不确定性来指导下游任务。实验结果表明，LogTokU 具备显著的效果和潜力。