arXiv:2408.17383v2 宣告类型: replace-cross 摘要: 参数高效微调（PEFT）技术解锁了经济地和容易地专门化大型预训练模型的潜力。然而，最突出的方法，如低秩适配器（LoRA），依赖于其架构选择中的启发式或常规做法——这可能会限制它们在新模型和架构上的性能。这一局限性表明，可以从神经架构搜索技术中获得最优适配器架构，但这些技术通常成本高昂且难以实现。我们通过Monarch矩形微调（MoRe）解决了这一挑战，MoRe是一种基于Monarch矩阵类的简单框架，用于搜索适配器架构。理论上，我们证明了MoRe比LoRA更具表现力。实证上，与当前最先进的PEFT技术相比，我们的方法在一系列任务和模型上更具有参数高效性和性能，仅使用LoRA参数的5%即可。