LLM2D
大型语言模型的召回率不确定性受扇形效应调节
Large Language Model Recall Uncertainty is Modulated by the Fan Effect
作者: Jesse Roberts, Kyle Moore, Thao Pham, Oseremhen Ewaleifoh, Doug Fisher
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2407.06349v2

摘要

本文评估了在大规模语言模型(LLM)在预训练于人类文本数据后,是否会表现出类似于安德森在人类身上发现的认知扇形效应。我们进行了两组旨在引发扇形效应的上下文回忆实验。与人类结果一致,我们发现LLM回忆的不确定性(通过标记概率衡量)受到扇形效应的影响。我们的结果表明,消除不确定性会破坏观察到的效应。实验表明,无论扇形值是在上下文中引入还是在预训练数据中引入,扇形效应都是一致的。最后,这些发现提供了计算机模拟证据,表明扇形效应和典型性是同一现象的表现形式。