摘要
arXiv:2504.02890v1 类型: 交叉
摘要:最近在测试时计算能力扩展方面的进展使大规模语言模型(LLMs)能够通过生成包含尝试与错误、回溯和中间推理步骤的思考链(CoT),来应对深层次的推理任务。然而,这些技术主要应用于流行的语言,如英语,这使得低资源语言的推理研究相对较少且不充分。在这项工作中,我们研究了LLMs在潜在空间中偏向于其固有优势语言的多语言机制。为了利用这一现象为低资源语言服务,我们训练模型在输入为低资源语言的情况下,生成思考链(CoT)并在目标语言中输出最终回答。我们的实验表明,这种被称为英语导向的CoT训练的方法在各种基准之上表现出色,包括仅在目标语言中生成思考链和最终回答的方法,性能提升最多可达28.33%。进一步分析提供了关于LLMs推理与多语言性之间关系的新见解,提示了开发多语言大型推理模型的新方法。