arXiv:2504.03022v1 Announce Type: cross 摘要：关于上下文内复制的早期工作表明存在归纳头，这些头会在复制过程中注意并促进个别词元。在这项工作中，我们引入了一种新的归纳头类型：概念级归纳头，这些头会复制整个词块而不是个别词元。概念归纳头学习在训练过程中注意多词词组的结尾部分，并与词元级归纳头并行工作，以复制有意义的文本。我们表明，这些头对词级翻译等语义任务负责，而词元归纳头对于只能逐字完成的任务，如复制无意义的词元，至关重要。这两种“路径”独立运作：事实上，我们表明，去除词元归纳头会导致模型在本应逐字复制的地方进行改写。鉴于这些发现，我们认为尽管词元归纳头对于特定任务至关重要，但概念归纳头可能在上下文内学习中更具广泛的相关性。