arXiv:2502.08441v2 宣布类型: 横跨 摘要: 尽管大语言模型（LLMs）具备显著的能力，但它们学习的词嵌入表现出难以理解且不受欢迎的各向异性特征。本文中，我们argue认为Adam中的二阶矩是导致各向异性嵌入的原因，并提出了一种修改优化器称为耦合Adam，以缓解该问题。我们的实验表明，耦合Adam显著提高了嵌入的质量，同时还能够在足够大的数据集上实现更好的上流和下游性能。