arXiv:2504.00254v1 Announce Type: cross 摘要：低秩适应（LoRA）已成为一种广泛采用的技术，用于在极少参数更新的情况下微调大规模预训练模型。然而，现有方法依赖于固定的秩或仅专注于秩的剪枝或扩展，无法在训练过程中根据不同层的重要性动态地调整秩。在这项工作中，我们提出了一种名为ElaLoRA的自适应低秩适应框架，它基于梯度导出的重要性评分动态地进行秩的剪枝和扩展。据我们所知，ElaLoRA是第一个能够在微调过程中同时实现秩的剪枝和扩展的方法。在多个基准测试中的实验表明，ElaLoRA在不同的参数预算下始终优于现有的PEFT方法。此外，我们的研究证实，分配较高秩的层对模型性能贡献更为显著，从而为我们的自适应策略提供了理论依据。通过引入一个原则性和自适应的秩分配机制，ElaLoRA提供了一种可扩展且高效的微调解决方案，特别适合资源受限的环境。