arXiv:2503.21718v1 Announce Type: 剪枝 摘要：我们研究最后一层的异常维度，即大多数输入中显示极端激活的维度。我们展示了异常维度在许多现代语言模型中出现，并将其功能追溯到不断地预测常见词的启发式方法。我们进一步展示了当这种启发式方法在上下文中不适当时，模型可以通过向剩余维度分配相反的重量来阻止这种启发式方法，并且我们探讨了哪些模型参数可以增强异常维度及其在训练过程中何时出现。我们得出结论，异常维度是许多不同模型发现的专门机制，用于实现有用的标记预测启发式方法。