arXiv:2502.00290v4 宣布类型: replace-cross 摘要：近年来，大型语言模型（LLMs）发展迅速，并在各种领域中得到了广泛应用。然而，LLMs 面临幻觉问题，当模型缺乏相关信息时，可能生成不可靠的回答。为了意识到潜在的幻觉，已经引入了不确定估计方法，并且大多数方法都确认可靠性在于关键令牌。然而，基于概率的方法在识别令牌可靠性方面表现不佳，限制了其实用性。在本文中，我们揭示了基于概率的方法由于在训练阶段丢失了证据强度信息，从而无法估计令牌可靠性。因此，我们提出了一种名为Logits-induced token uncertainty（LogTokU）的框架，用于估计LLMs中解耦的令牌不确定性，使得能够实时进行不确定性估计而无需进行多次采样过程。我们采用证据建模来实现LogTokU，并使用估计的不确定性来指导下游任务。实验结果表明，LogTokU具有显著的有效性和前景。