arXiv:2411.15231v2 宣布类型: replace-cross 摘要：低秩适应（LoRA）广泛用于跨各种领域对大型模型进行微调，以适应特定的下游任务。虽然特定任务的LoRA通常可用，但关于数据隐私和知识产权的担忧会限制访问训练数据，从而限制通过梯度训练获得多任务模型的机会。为应对这一挑战，LoRA合并提供了一种有效解决方案，即通过结合多个LoRA进入一个统一的适配器，同时保持数据隐私。先前关于LoRA合并的工作主要将其框架化为一个优化问题，但这些方法面临一些限制，包括优化中粗糙的输入特征假设、庞大的样本需求以及目标函数的不平衡性。这些限制可能会显著降低性能。为解决这些问题，我们提出了一种新的基于优化的方法，名为IterIS：1）我们将LoRA合并形式化为一个先进的优化问题，以缓解粗糙的输入特征假设。此外，我们在算法中采用了迭代推理求解框架，可以逐步细化优化目标以提高性能。2）我们引入了一种高效的正则化项，以减少庞大的样本需求（与先前方法相比，仅需要1-5%的无标签样本）。3）我们在优化目标中使用自适应权重，以缓解LoRA合并过程中的潜在不平衡性。我们的方法在文本到图像扩散任务、视觉语言模型和大型语言模型的组成任务方面，在多个基准和最先进的方法上显示出显著的性能提高。此外，我们的逐层算法可以通过极少量的步骤达到收敛，确保在内存和计算上都具有高效性。