本文介绍了一种名为标准基LoRA（SBoRA）的新型参数高效微调方法，用于大型语言模型，该方法建立在低秩自适应（LoRA）和正交自适应的开创性工作的基础上。SBoRA将可训练参数的数量减少一半，或者在与LoRA相同数量的可训练参数下将秩加倍，同时提高学习性能。通过利用正交标准基向量来初始化一个低秩矩阵（$\mathbf{A}$或$\mathbf{B}$），SBoRA促进了区域权重更新和内存高效的微调。这产生了两种变体，SBoRA-FA和SBoRA-FB，其中只有一个矩阵被更新，导致稀疏更新矩阵$\mathrm{\Delta} \mathbf{W}$主要包含零行或零列。因此，大多数微调模型的权重$(\mathbf{W}_0+\mathrm{\Delta} \mathbf{W})$与预训练权重保持不变，类似于人脑的模块化组织，可以有效地适应新任务。我们的实证结果表明，在各种微调任务（包括常识推理和算术推理）中，SBoRA-FA优于LoRA。此外，我们评估了QSBoRA在不同规模的量化LLaMA模型上的有效性，突出了其高效适应新任务的潜力。代码可在https://github.com/cityuhkai/SBoRA获取。