arXiv:2504.19622v1 宣告类型: 新 摘要: 本文从贝叶斯证识论的角度探讨了语言模型的知识。我们探索了语言模型在面对不同信息量和可靠性的证据时，如何调整其自信程度和响应。为了研究这些特性，我们创建了一个包含不同类型证据的数据集，并通过口头表达的自信程度、标记概率和采样来分析语言模型的响应和自信程度。我们观察到，语言模型并不总是遵循贝叶斯证识论：当面对真实证据时，语言模型很好地遵循了贝叶斯确证假设，但在遇到不同类型的证据时，却未能遵守其他贝叶斯假设。此外，我们还证明了，在面对强烈证据时，语言模型可能会表现出很高的自信程度，但这并不总是保证高准确性。我们的分析还表明，语言模型对黄金证据存在偏见，并且其性能会根据不同无关程度的不同而变化，这有助于解释它们为何会偏离贝叶斯假设。