LLM2D
AROMA:自主秩一矩阵适应
AROMA: Autonomous Rank-one Matrix Adaptation
作者: Hao Nan Sheng, Zhi-yong Wang, Mingrui Yang, Hing Cheung So
发布日期: 4/9/2025
arXiv ID: oai:arXiv.org:2504.05343v1

摘要

arXiv:2504.05343v1 宣布类型: cross 摘要:随着大型语言模型的不断增大,参数高效微调变得越来越关键。虽然低秩适应(LoRA)通过低秩更新提供了解决方案,但其固定的秩分配可能会导致次优结果。自适应低秩适应(AdaLoRA)通过动态分配改进了这一点,但仍对初始和目标秩配置高度敏感。我们提出了AROMA框架,该框架通过迭代构建特定层的秩一组件,逐步减少到零,从而自动构建层特定更新。不同于现有方法采用秩减少机制,AROMA 引入了双环架构以促进秩增长。内环从每个秩一子空间中提取信息,而外环决定秩一子空间的数量,即最优秩。我们重置优化器状态以维持子空间的独立性。与LoRA和AdaLoRA相比,AROMA 参数数量显著减少,同时在自然语言理解和常识推理任务上表现出优越性能,为适应性参数高效微调提供了新的见解。代码可在 \href{https://github.com/ShuDun23/AROMA}{AROMA} 获取。