arXiv:2502.14258v1 类型：交叉 摘要：尽管语言模型提取事实的能力已被广泛研究，但它们如何处理时间变化的事实却鲜有探索。我们发现时间头，这是一种专门负责通过电路分析处理时间知识的注意力头。我们确认这些头在多个模型中存在，尽管它们的具体位置可能有所不同，且它们的响应会根据类型的知识及其对应的年份而变化。禁用这些头会降低模型召回时间特定知识的能力，同时保持其一般能力，而不会影响时间不变和问答性能。此外，这些头不仅在数值条件（“在2004年”）中被激活，还在文本别名（“在……年”）中被激活，表明它们超越了简单的数值表示，编码了一种时间维度。此外，我们通过展示如何通过调整这些头的值来编辑时间知识，进一步扩大了我们的发现潜力。