arXiv:2502.12171v1 宣告类型: cross 摘要: 低秩适应(LoRA)是一种用于高效微调预训练大型语言模型(PLLMs)的关键方法，其性能主要受到两个关键因素的影响：秩和初始化策略。为了提高性能，已经提出了许多LoRA变体来解决这些问题。然而，这些变体往往牺牲了LoRA的可用性和效率。在本文中，我们分析了现有方法的基本局限性，并提出了一种名为GoRA(梯度驱动的自适应低秩适应)的新方法，该方法根据梯度信息同时自适应地分配秩和初始化权重。广泛的实验结果表明，GoRA不仅显著提高了性能，还保留了LoRA的高可用性和效率。在使用GLUE基准任务微调的T5模型上，GoRA在性能上比LoRA提高了5.88点，并且在一定程度上超过了全量微调。同样，在使用GSM8k任务微调的Llama3.1-8B-Base模型上，GoRA在性能上比LoRA提高了5.13点，并且在高秩设置中超过了全量微调2.05点。