摘要
无限制对抗攻击通常通过操纵图像的语义内容(例如颜色或纹理)来创建既有效又逼真的对抗样本。最近的研究利用扩散反转过程将图像映射到潜在空间,并在其中通过引入扰动来操纵高级语义。然而,它们通常会导致去噪输出中出现大量语义失真,并且效率低下。在本研究中,我们提出了一种名为语义一致无限制对抗攻击(SCA)的新框架,该框架采用反转方法来提取易于编辑的噪声图,并利用多模态大型语言模型(MLLM)在整个过程中提供语义指导。在 MLLM 提供丰富语义信息的情况下,我们使用一系列易于编辑的噪声图执行每个步骤的 DDPM 去噪过程,并利用 DPM Solver++ 加速此过程,从而实现具有语义一致性的高效采样。与现有方法相比,我们的框架能够高效生成对抗样本,这些样本表现出最小的可辨别语义变化。因此,我们首次引入了语义一致对抗样本(SCAE)。大量的实验和可视化证明了 SCA 的高效率,特别是在平均速度比最先进的攻击快 12 倍的情况下。我们的代码可以在 https://github.com/Pan-Zihao/SCA}{https://github.com/Pan-Zihao/SCA 找到。