arXiv:2502.06902v1 交叉公告类型 摘要：我们研究了注意头和变压器输出中的上下文相关的时间偏见。使用认知科学的方法，我们分析了不同大小的GPT-2模型的注意分数和输出。在不同注意头上，我们观察到与人类事件记忆特征相一致的效果，包括时间连续性、首因效应和近因效应。变压器输出表现出一种针对上下文的序列回忆倾向。重要的是，在移除引导时间连续性效应的诱导头后，这种效应消失了，诱导头是时间连续性效应的驱动因素。我们的发现为理解变压器在上下文学习过程中如何按时间组织信息提供了见解，揭示了它们与人类记忆和学习的相似之处和差异。