低秩自适应（LoRA）因其模块化设计和在 Huggingface 等平台上的广泛可用性，已成为微调大型语言模型（LLM）以适应各种领域的一种流行技术。这种模块化特性激发了人们对组合多个 LoRA 以增强 LLM 功能的兴趣。然而，现有的 LoRA 组合方法主要集中在需要额外训练的任务特定自适应上，而当前的模型合并技术往往无法充分利用 LoRA 的模块化特性，导致参数干扰和性能下降。在本文中，我们研究了以更精细的粒度拆解和重新组装多个 LoRA 的可行性，类似于组装乐高积木。我们引入了最小语义单元（MSU）的概念，其中与 LoRA 中每个秩相对应的参数充当独立单元。这些 MSU 表现出置换不变性和连接-求和等价性，从而能够灵活组合以创建新的 LoRA。基于这些见解，我们提出了 LoRA-LEGO 框架。该框架通过将来自不同 LoRA 的 MSU 分组到 $k$ 个簇中来进行秩级参数聚类。每个簇的质心充当代表性 MSU，从而能够组装一个合并后的 LoRA，其秩调整为 $k$。此外，我们应用双重加权策略来优化合并后 LoRA 的规模。跨各种基准的实验表明，我们的方法在 LoRA 合并方面优于现有方法。