arXiv:2502.12959v1 宣布类型: 交叉 摘要: 重新对齐技术经常被用来增强多语言语言模型中的跨语言迁移，但仍有时会在与微调源语言差异极大的语言中降低性能。本文介绍了一种名为AlignFreeze的方法，该方法在重新对齐过程中冻结每一层的下半部分或上半部分。通过在4项任务、3个模型和35种语言上进行受控实验，我们发现重新对齐会影响所有层，但对下层的影响尤为显著。冻结下层可以防止性能下降。特别是，AlignFreeze在重新对齐失败的语言中提高了词性标注性能：与XLM-R相比，它在7种更多语言上的准确率改进超过了一个标准差。