arXiv:2410.09437v3 适应类型: 替换交叉 摘要: 参数高效微调 (PEFT) 广泛应用于领域适应中，洛拉 (LoRA) 由于其简洁性和有效性而成为最突出的方法之一。然而，在多任务学习 (MTL) 场景中，LoRA 会通过将不同任务的稀疏高维特征投影到同一个密集低维内在空间中，模糊不同任务之间的区别，导致任务干扰和 LoRA 及其变体的次优性能。为了解决这一挑战，我们提出了 MTL-LoRA，它保留了低秩适应的优点，同时显著增强了 MTL 能力。MTL-LoRA 通过增加额外的任务适应参数来增强 LoRA，这些参数能够区分特定任务的信息，并在低维空间中跨多种任务捕捉共享知识。这种方法使得预训练模型能够在有限的可训练参数数量下联合适应不同的目标域。全面的实验结果，包括自然语言理解、常识推理和图像文本理解的公共学术基准评估，以及实际工业文本广告相关性数据集的评估，表明在 MTL 情景下，MTL-LoRA 在具有可比甚至更少可学习参数的情况下，比 LoRA 及其各种变体具有更好的性能。