arXiv:2504.05343v1 宣布类型: cross 摘要：随着大型语言模型的不断增大，参数高效微调变得越来越关键。虽然低秩适应（LoRA）通过低秩更新提供了解决方案，但其固定的秩分配可能会导致次优结果。自适应低秩适应（AdaLoRA）通过动态分配改进了这一点，但仍对初始和目标秩配置高度敏感。我们提出了AROMA框架，该框架通过迭代构建特定层的秩一组件，逐步减少到零，从而自动构建层特定更新。不同于现有方法采用秩减少机制，AROMA 引入了双环架构以促进秩增长。内环从每个秩一子空间中提取信息，而外环决定秩一子空间的数量，即最优秩。我们重置优化器状态以维持子空间的独立性。与LoRA和AdaLoRA相比，AROMA 参数数量显著减少，同时在自然语言理解和常识推理任务上表现出优越性能，为适应性参数高效微调提供了新的见解。代码可在 \href{https://github.com/ShuDun23/AROMA}{AROMA} 获取。