摘要
arXiv:2504.00254v1 Announce Type: cross
摘要:低秩适应(LoRA)已成为一种广泛采用的技术,用于在极少参数更新的情况下微调大规模预训练模型。然而,现有方法依赖于固定的秩或仅专注于秩的剪枝或扩展,无法在训练过程中根据不同层的重要性动态地调整秩。在这项工作中,我们提出了一种名为ElaLoRA的自适应低秩适应框架,它基于梯度导出的重要性评分动态地进行秩的剪枝和扩展。据我们所知,ElaLoRA是第一个能够在微调过程中同时实现秩的剪枝和扩展的方法。在多个基准测试中的实验表明,ElaLoRA在不同的参数预算下始终优于现有的PEFT方法。此外,我们的研究证实,分配较高秩的层对模型性能贡献更为显著,从而为我们的自适应策略提供了理论依据。通过引入一个原则性和自适应的秩分配机制,ElaLoRA提供了一种可扩展且高效的微调解决方案,特别适合资源受限的环境。