LLM2D
零空间视觉提示微调用于持续学习
Visual Prompt Tuning in Null Space for Continual Learning
作者: Yue Lu, Shizhou Zhang, De Cheng, Yinghui Xing, Nannan Wang, Peng Wang, Yanning Zhang
发布日期: 9/27/2024
arXiv ID: oai:arXiv.org:2406.05658v3

摘要

现有的提示微调方法在持续学习 (CL) 中表现出令人印象深刻的性能,方法是在视觉转换器模型中选择和更新相关提示。相反,本文旨在通过在先前任务特征所跨越的子空间的正交方向上微调提示来学习每个任务,从而确保对已学习的任务没有干扰,以克服 CL 中的灾难性遗忘。然而,与传统 CNN 架构中的正交投影不同,ViT 架构中的提示梯度正交投影呈现出完全不同的、更大的挑战,即:1) 高阶非线性自注意力操作;2) 变形器块中 LayerNorm 带来的提示分布漂移。从理论上讲,我们最终推导出两个一致性条件来实现提示梯度正交投影,这为通过视觉提示微调中的自注意力机制消除对先前学习知识的干扰提供了理论保证。在实践中,已经提出了一种有效的基于零空间的近似解来实现提示梯度正交投影。大量的实验结果证明了在四个具有不同预训练基线模型的类增量基准上,反遗忘的有效性,并且我们的方法比最先进的方法取得了更好的性能。我们的代码可在 https://github.com/zugexiaodui/VPTinNSforCL 上获取。