LLM2D
探索大型语言模型展示理性概率信念的潜力
Exploring the Potential for Large Language Models to Demonstrate Rational Probabilistic Beliefs
作者: Gabriel Freedman, Francesca Toni
发布日期: 4/21/2025
arXiv ID: oai:arXiv.org:2504.13644v1

摘要

arXiv:2504.13644v1 宣告类型: 新 摘要:大型语言模型(LLMs)的一般能力的进展使其能够用于信息检索,并作为自动化决策系统中的组件。在这些模型中诚实地表现概率推理可能是确保这些任务中值得信赖、可解释和有效的性能的关键。尽管先前的研究表明LLMs能够进行复杂的推理和准确的概率不确定性量化,但我们发现当前这类模型的版本缺乏提供理性且连贯的概率信念表示的能力。为了证明这一点,我们引入了一个具有不确定真值的声明新数据集,并应用多种成熟的不确定性量化技术来衡量LLMs遵守概率推理基本性质的能力。