arXiv:2403.13196v2 宣布类型: replace-cross 摘要：深度模型，包括视觉变换器，在对抗攻击面前已知其性能是脆弱的。许多现有的针对这些攻击的防御方法，如对抗训练，依赖于对整个模型进行精细调整以在模型中诱导鲁棒性。这些防御方法需要为每个任务保存整个模型的一个副本，该模型可能包含数十亿个参数。同时，参数高效的提示调优被用于在不需要保存大型副本的情况下，将大型基于变换器的模型适应下游任务。在本文中，我们从鲁棒性的角度研究了在下游任务中对视觉变换器进行参数高效的提示调优。我们展示了在提示调优范式中应用先前的对抗防御方法时，它们会遭受梯度混淆，并且对自适应攻击是脆弱的。我们提出了一种新的框架 ADAPT，用于在提示调优范式中执行适应性对抗训练。我们的方法通过仅调优约1%的参数数量，实现了与全模型调优的当前最佳鲁棒性方法相当的约40%的鲁棒准确性。