arXiv:2410.04060v3 宣告类型: replace-cross 摘要: 低秩适应（LoRA）是一种流行的方法，参数高效的微调（PEFT），能够有效地适应大型预训练模型以应对下游任务。LoRA 使用低秩矩阵参数化模型更新，显著减少了可训练参数的数量，从而在微调过程中降低了资源需求。然而，由于使用了低秩矩阵模型，可训练参数的数量下限仍然很高。近期的工作通过提出基于低秩张量的模型更新参数化来解决了这一限制，但这些方法仅利用了层间冗余，或者使用了非标准方案对个体矩阵进行张量转换，引入了额外的超参数。在本文中，我们提出了一种更高阶的 Candecomp/Parafac（CP）分解，使得与现有的基于矩阵和张量的方法相比，能够提供一种更紧凑和更具灵活性的表示。我们在自然语言理解、指令微调、偏好优化和蛋白质折叠基准上的实验表明，我们的方法可以在维持相当性能的同时减少参数数量。