arXiv:2501.06382v3 通知类型: replace-cross 摘要：人的认知过程中断是由情感、上下文或联想线索引发的突然、自发的主题转换，这种现象在神经科学中被称为自发思维。相比之下，基于自我注意的模型依赖于输入的结构化模式来预测下一个令牌，缺乏自发性。鉴于这一区别，我们描述了自我注意架构中的自发主题变化，揭示了它们与自发人类思维的相似性和差异性。首先，我们通过定义主题为Token Priority Graphs (TPGs)集，建立在简化的一层自我注意模型下得出理论结果。具体来说，我们证明了以下几点：(1) 模型保持与输入话题相关的令牌的优先顺序；(2) 只有当较低优先级的令牌数量超过所有较高优先级的输入话题令牌时，才会发生自发的主题变化；(3) 与人类认知不同，上下文长度越长或输入话题越模糊，自发变化的可能性越低。其次，我们通过实验证明这些动态在现代最先进的LLM中仍然存在，突显了人类认知与AI行为在自发主题变化方面的基本差异。据我们所知，没有先前的研究在这方面如此紧密地关注人类思维。