arXiv:2503.21838v1 宣告类型: 交叉 摘要: 参数高效微调(PEFT)已成为在减少计算成本的同时适应大规模预训练模型的一种关键方法。在PEFT方法中，LoRA通过将权重更新分解为低秩矩阵显著减少了可训练参数。然而，传统的LoRA在所有层上应用固定的秩，未能考虑层级信息的不同复杂性，导致适应效率低下并出现冗余。为了解决这一问题，我们提出了MSPLoRA（多尺度金字塔LoRA），该方法引入了全局共享LoRA、中间层次共享LoRA和层特定LoRA来分别捕捉全局模式、中间特征和细粒度信息。这种层次结构减少了层间的冗余，同时保持了强大的适应能力。在各种自然语言处理任务上的实验表明，MSPLoRA实现了更高效的适应和更好的性能，同时显著减少了可训练参数的数量。此外，基于奇异值分解的额外分析验证了其信息解耦能力，突出了MSPLoRA作为大规模语言模型参数高效微调的可扩展和有效优化策略。我们的代码可在 https://github.com/Oblivioniss/MSPLoRA 获取。