摘要
arXiv:2502.09056v1 并集类型:交叉
摘要:本文探讨了数据选择和模型合并方法,旨在将类似 DeepSeek R1 的高级推理能力融入特定语言的大语言模型(LLMs),特别关注泰语 LLM。我们的目标是在保持特定语言能力的同时增强特定语言 LLM 的推理能力。DeepSeek R1 在推理方面表现出色,但主要惠及高资源语言如英语和汉语。然而,由于以英语为中心的训练数据和模型优化占据了主导地位,这限制了这些语言的表现。这种限制导致这些语言中的代码转换不可靠,并且在低资源语言的任务中效果减弱。与此同时,本地和区域 LLM 项目试图通过开发专注于提高本地语言准确性的特定语言 LLM 来弥合这一差距。我们展示了,仅使用公开可用的数据集和 120 美元的计算预算,可以在不损害目标语言任务性能的情况下,增强特定语言 LLM 的推理能力,使其达到与 DeepSeek R1 相当的水平。