arXiv:2504.05343v2 宣告类型: 替换交叉 摘要：随着大规模语言模型不断增长，参数高效微调（PEFT）变得越来越关键。虽然低秩适应（LoRA）通过低秩更新提供了解决方案，但由于其静态秩分配可能导致结果次优，AdaLoRA在动态分配方面有所改进，但仍对初始和目标秩配置敏感。我们引入了AROMA框架，该框架通过迭代构建少量可训练参数的秩一组件，并逐渐减少到零来自动构建层特定的更新。与现有方法使用秩减少机制不同，AROMA引入了秩增长的双环架构。内部循环从每个秩一子空间提取信息，而外部循环决定秩一子空间的数量，即最优秩。我们重置优化器状态以保持子空间的独立性。与LoRA和AdaLoRA相比，AROMA显著减少了参数数量，并在自然语言理解和常识推理任务上实现了更优的性能，为自适应PEFT提供了新的见解。代码可在 https://github.com/ShuDun23/AROMA 获取。