arXiv:2502.03199v1 Announce Type: cross 摘要：尽管大型语言模型（LLMs）具有令人印象深刻的容量，但它们在拥有正确知识的情况下，仍然经常面临生成不准确或虚假内容的幻觉问题。在本文中，我们将隐藏状态预测变化与输出事实性的关系探索深入到更深的、按词的层面。基于这些洞察，我们提出了跨层熵增强解码（END），这是一种无需额外训练即可缓解幻觉的方法。END 利用跨层内部概率变化，单独量化每个候选词所需的事实性知识，并调整最终的预测分布，以优先考虑具有更高事实性的词。在幻觉和问答基准测试上的实验表明，END 显著增强了生成内容的真实性和信息性，同时保持了稳健的问答准确性。此外，我们的工作为理解内在知识与输出事实性之间的关系提供了更深入的视角。