摘要
arXiv:2502.09056v3 通知类型: 替换-交叉
摘要:本文探讨了数据选择和模型合并方法,旨在将类似于DeepSeek R1这类先进的推理能力融入到特定语言的大规模语言模型(LLMs)中,特别关注泰语LLM。我们的目标是在保持特定语言能力的同时增强特定语言LLM的推理能力。DeepSeek R1在推理方面表现出色,但主要受益于英语和汉语等高资源语言。然而,由于以英语为中心的训练数据和模型优化占据主导地位,这限制了这些语言的表现,导致在这些语言中代码转换不可靠且在低资源语言任务中的效果减弱。与此同时,本地和区域性的LLM倡议已经尝试通过开发专注于提高本地语言忠实度的特定语言LLM来弥合这一差距。我们证明,仅使用公开可用的数据集和计算预算是120美元,有可能在不牺牲特定语言任务表现的情况下,提升特定语言LLM的推理能力到与DeepSeek R1相同水平。