LLM2D
开源菜谱:通过模型合并将语言特定的LLM在一天内适应为一个推理模型
An Open Recipe: Adapting Language-Specific LLMs to a Reasoning Model in One Day via Model Merging
作者: Kunat Pipatanakul, Pittawat Taveekitworachai, Potsawee Manakul, Kasima Tharnpipitchai
发布日期: 2/14/2025
arXiv ID: oai:arXiv.org:2502.09056v1

摘要

arXiv:2502.09056v1 并集类型:交叉 摘要:本文探讨了数据选择和模型合并方法,旨在将类似 DeepSeek R1 的高级推理能力融入特定语言的大语言模型(LLMs),特别关注泰语 LLM。我们的目标是在保持特定语言能力的同时增强特定语言 LLM 的推理能力。DeepSeek R1 在推理方面表现出色,但主要惠及高资源语言如英语和汉语。然而,由于以英语为中心的训练数据和模型优化占据了主导地位,这限制了这些语言的表现。这种限制导致这些语言中的代码转换不可靠,并且在低资源语言的任务中效果减弱。与此同时,本地和区域 LLM 项目试图通过开发专注于提高本地语言准确性的特定语言 LLM 来弥合这一差距。我们展示了,仅使用公开可用的数据集和 120 美元的计算预算,可以在不损害目标语言任务性能的情况下,增强特定语言 LLM 的推理能力,使其达到与 DeepSeek R1 相当的水平。