arXiv:2502.10749v1 宣告类型：交叉学科 摘要：尽管大多数当前方法依赖于进一步训练技术，如微调或强化学习，来增强模型能力，但模型合并因其能在不需额外训练的情况下提升模型的能力而脱颖而出。在本文中，我们提出了一种基于低秩估计任务向量的统一框架，无需访问基础模型，该框架名为 \textsc{LoRE-Merging}。我们的方法受到观察的启发，即微调模型的任务向量通常表现出有限数量的主导奇异值，使得低秩估计不太容易受到干扰。我们通过将合并问题形式化为一个优化问题来实现该方法。广泛的实验证明了该框架在减少干扰和保存任务特定信息方面的有效性，从而推动了模型合并技术的最新性能。