arXiv:2505.07883v1 类型：交叉学科 摘要：在不确定性条件下进行合理的决策要求对事件拥有一致的信念程度。然而，大型语言模型（LLMs）生成的事件概率已被证明具有一致性问题，违反了概率论的公理。这引发了一个问题，即是否可以从模型使用的嵌入中恢复出一致的事件概率。如果可以，这些推导出的概率可以在涉及不确定性的事件中作为更准确的估计使用。为了探索这一问题，我们提出在扩展的变分自编码器（VAE）应用于LLM嵌入时学习的潜在空间中强加公理约束（如概率论的加法规则），这使得事件概率在潜在空间中自然地出现，因为VAE学会了同时重构原始嵌入并预测相关事件的嵌入。我们评估了该方法在互补事件（即事件A及其互补事件，事件非A）上的表现，其中两个事件的真正概率之和必须为1。对开放式语言模型的实验结果显示，从嵌入中恢复出的概率比对应模型直接报告的概率更具一致性，并且与真实概率高度一致。