arXiv:2502.08666v1 宣告类型: cross 摘要: [Kalai 和 Vempala 2024] 的近期理论工作证明了一个特定的幻觉率观念在大语言模型（LLMs）中必须低于训练数据单事实率（与经典的 Good-Turing 缺失质量估计器相关）减去模型校准偏差。通过系统地使用 n-克模型和基于上下文的大语言模型实验，我们通过分析不同的底层数据分布如何影响单事实率和模型产生幻觉的倾向来实证研究并验证这一理论。然后，我们通过控制训练样本的加权来改变模型的校准偏差，同时保持单事实率不变，从而使我们能够孤立出校准偏差减少幻觉的效果。这些发现表明，训练数据中事实频率的分布以及校准-幻觉权衡都是概率语言生成的固有属性。我们的结果还表明，当前训练数据中的激进去重做法可能需要重新考虑，因为选择性的复制可以作为一个原则性的机制来减少幻觉。