arXiv:2504.03719v2 宣告类型: replace-cross 摘要: 在本文中，我们介绍了一种优化后的低秩对称适配器——Symmetric Low-Rank Adapters (SymLoRA)，这是LoRA的一种具有更少权重的变体。该方法利用低秩对称权重矩阵来更有效地学习下游任务。传统的LoRA通过类似于奇异值分解(SVD)的方法，将微调权重与原始预训练权重累积起来，即模型权重通过形式为$BA$（其中$B \in \mathbb{R}^{n\times r}$，$A \in \mathbb{R}^{r\times n}$，$r$是合并后权重矩阵的秩）的形式进行微调。相比之下，我们的方法，即SymLoRA，将微调权重表示为谱分解的形式，即$Q \, diag(\Lambda)\, Q^T$，其中$Q \in \mathbb{R}^{n\times r}$，$\Lambda \in \mathbb{R}^r$。SymLoRA所需的微调权重大约只有原来的一半。在这里，我们证明了这种方法在下游任务效果上几乎没有损失。