arXiv:2504.03719v1 优化类型: 交叉 摘要: \newcommand{\mathds}[1]{\text{\usefont{U}{dsrom}{m}{n}#1}} 在本文中，我们介绍了对称低秩适配器（Symmetric Low-Rank Adapters），这是LoRA的一种优化变体，具有更少的权重。该方法利用低秩对称权重矩阵以更高效的方式学习下游任务。传统的LoRA通过类似于奇异值分解（SVD）的方法将微调权重与原始预训练权重积累起来，即模型权重通过形式为$BA$的形式进行微调（其中$B \in \mathbb{R}^{n\times r}$，$A \in \mathbb{R}^{r\times n}$，$r$是合并权重矩阵的秩）。相反，我们的方法，称为SymLoRA，将微调权重表示为谱分解的形式，即$Q \, diag(\Lambda)\, Q^T$，其中$Q \in \mathbb{R}^{n\times r}$，$\Lambda \in \mathbb{R}^r$。SymLoRA需要大约一半的微调权重。在这里，我们展示了这种方法在下游效果上的损失可以忽略不计。