arXiv:2502.00290v5 Announce Type: replace-cross 摘要：近年来，大规模语言模型（LLMs）发展迅速，并在各种领域得到了广泛应用。然而，LLMs 面临幻觉问题，在模型缺乏相关知识时，可能会生成不可靠的响应。为了解决潜在的幻觉问题，已经引入了不确定性估计方法，并且大多数方法都确认了可靠性在于关键的标记。然而，基于概率的方法在识别标记可靠性方面表现不佳，限制了它们的实际应用价值。在本文中，我们揭示了基于概率的方法未能估计标记可靠性，原因是训练阶段积累的证据强度信息丢失。因此，我们提出了 Logits-诱导标记不确定性（LogTokU），这是一种用于评估LLMs解耦标记不确定性的框架，能够实现实时不确定性估计，不需要多次采样过程。我们通过证据建模来实现LogTokU，并使用估计的不确定性来指导下游任务。实验结果表明，LogTokU在效果和潜力方面具有显著优势。