arXiv:2409.06706v2 宣告类型: 替换-交叉 摘要：参数高效微调（PEFT）的进步通过精细分析预训练参数空间，缩小了与全参数微调（FFT）的性能差距。从生物神经网络（BNNs）中的神经印迹（NE）中汲取灵感，我们将PEFT参数空间转移中观察到的低秩性质与神经生物学机制联系起来。这一观察促成了我们提出的Synapse and Neuron（SAN）方法，该方法将缩放成分从前端特征调整向量分解并传播到后端权重矩阵。我们的方法在长期强化/削弱（LTP/D）现象中受到了理论支持，这些现象通过神经传递素释放调控来管理突触的发展。大量的实验表明了其有效性：在VTAB、FGVC和GIC（25个数据集）中使用ViT、SwinT和ConvNeXt的视觉任务上，SAN优于FFT高达8.7%，并优于LoRA 3.2%；在使用LLaMA模型（所有生成）的常识推理任务（8个数据集）上，超出ChatGPT高达8.5%，并优于LoRA 4.7%；在使用LLaVA模型的混合视觉语言任务（7个数据集）上，它超过了FFT高达2.4%，并优于LoRA 1.9%。我们的代码和W&B日志将在https://github.com/daviddaiiiii/SAN-PEFT发布。