摘要
arXiv:2504.01857v1 交叉类型公告
摘要:链式思考(CoT)已成为增强大型语言模型(LLMs)推理能力的关键机制,自我一致性在提升性能方面展现出显著的潜力。然而,多语言训练语料库中固有的语言偏见经常导致语义漂移和逻辑不一致,尤其是在处理复杂推理任务的不到10B参数的LLMs中。为克服这些限制,我们提出了一种创新的推理框架——跨语言一致性(CLC)框架。该框架通过多语言推理路径的多数投票来整合多语言推理路径,以提升LLMs的推理能力。在CMATH数据集上的实证评估表明,与传统的自我一致性方法相比,CLC在DeepSeek-Math-7B-Instruct、Qwen2.5-Math-7B-Instruct和Gemma2-9B-Instruct上分别实现了9.5%、6.5%和6.0%的绝对准确率提升。将CLC的语言范围扩展到11种不同的语言具有两方面的协同效益:1) 通过多语言集成投票消除多语言训练语料库中的语言偏见;2) 通过探索更广泛的多语言解决方案空间,避免单调语言推理陷阱。这种双重效益实证上使GLobally最优的推理路径与使用Gemma2-9B-Instruct在MGSM数据集上所获得的4.1%-18.5%的准确率提升相比显得更为优越。