arXiv:2503.21718v2 提交类型: 重写-交叉 摘要：我们研究了最后一层的异常维度，即对大多数输入显示出极端激活的维度。我们展示了异常维度在许多现代语言模型中出现，并追溯其功能回溯到总是预测高频词汇的启发式方法。我们进一步展示了当这种启发式方法在上下文中不合适时，模型可以通过赋予剩余维度相反的权重来阻止这一启发式方法，我们研究了哪些模型参数可以增强异常维度，并在训练过程中它们何时出现。我们得出结论，异常维度是许多不同模型发现的一种专门机制，用于实现有用的文字预测启发式方法。