摘要
跳跃连接是现代深度模型更深、更强大的必要组成部分。尽管它们在正常情况下取得了巨大成功(在自然示例上实现了最先进的分类性能),但我们在对抗性场景下调查并识别了跳跃连接的一个有趣特性,即使用跳跃连接可以更容易地生成高度可转移的对抗性示例。具体来说,在类似 ResNet 的模型(具有跳跃连接)中,我们发现根据回传过程中的衰减因子,从跳跃连接而不是残差模块中使用更多梯度,可以生成具有高可转移性的对抗性示例。上述方法被称为跳跃梯度法 (SGM)。虽然从视觉领域中的类似 ResNet 模型开始,但我们进一步将 SGM 扩展到更高级的架构,包括视觉 Transformer (ViT) 和具有长度可变路径以及其他领域的模型,即自然语言处理。我们对包括 ResNets、Transformers、Inceptions、神经架构搜索和大型语言模型 (LLM) 在内的各种模型进行了全面的转移攻击。我们表明,在几乎所有情况下,采用 SGM 都可以极大地提高精心制作的攻击的可转移性。此外,考虑到实际使用的巨大复杂性,我们进一步证明,SGM 甚至可以提高模型集合或目标攻击的可转移性,以及对当前防御的隐蔽性。最后,我们提供了关于 SGM 工作原理的理论解释和经验见解。我们的发现不仅促使对模型的架构特征进行新的对抗性研究,而且为安全的模型架构设计带来了新的挑战。我们的代码可在 https://github.com/mo666666/SGM 获得。