低秩适应（LoRA）广泛用于微调跨不同领域的各种大型模型以用于特定的下游任务。虽然特定任务的LoRA通常可用，但对数据隐私和知识产权的担忧可能会限制对训练数据的访问，从而限制通过基于梯度的训练获取多任务模型。作为回应，LoRA合并通过将多个LoRA合并到一个统一的适配器中，同时保持数据隐私，提供了一种有效的解决方案。以往关于LoRA合并的工作主要将其定义为一个优化问题，但这些方法面临着几个局限性，包括对优化中使用的输入特征的粗略假设、巨大的样本需求以及不平衡的优化目标。这些限制会严重降低性能。为了解决这些问题，我们提出了一种新颖的基于优化的算法，名为IterIS：1）我们将LoRA合并公式化为一个高级优化问题，以减轻粗略假设的影响。此外，我们在算法中采用了一种迭代推理求解框架。它可以逐步改进优化目标以提高性能。2）我们引入了一个有效的正则化项，以减少对海量样本需求（与以往的方法相比，只需要1-5%的未标记样本）。3）我们在优化目标中使用自适应权重，以减轻LoRA合并过程中潜在的不平衡。我们的方法在文本到图像扩散、视觉语言模型和大型语言模型的组合任务中，比多个基线和最先进的方法都取得了显著的改进。此外，我们的分层算法只需最少的步骤即可收敛，确保了内存和计算效率。