arXiv:2505.05145v1 类型:跨学科 摘要:为了执行上下文学习，语言模型必须从少量几个示例中提取信号，将这些信号聚合为一个学习到的预测规则，然后将此规则应用于新示例。这在现代变压器模型的前向传播过程中是如何实现的？为了研究这一点，我们考虑了一类结构化的少量示例学习任务，其中真实的预测规则是对输入值加上一个整数 \(k\)。我们发现，Llama-3-8B 在不同 \(k\) 的范围内对该任务具有高准确率，并通过一种新的优化方法将少量示例的能力定位到仅三个注意力头中。进一步地，我们表明提取的信号位于一个六维子空间中，其中四维追踪个位数，另外二维追踪总体大小。最终，我们考察了这些头如何从单独的少量示例中提取信息，发现了早期示例中的错误被后续示例抑制的自我纠正机制。我们的研究结果表明，跨越前向传播跟踪低维子空间可以提供对精细计算结构的见解。