LLM2D
SCA:高效语义一致的无限制对抗攻击
SCA: Highly Efficient Semantic-Consistent Unrestricted Adversarial Attack
作者: Zihao Pan, Weibin Wu, Yuhang Cao, Zibin Zheng
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2410.02240v2

摘要

不受约束的对抗攻击通常会操纵图像的语义内容(例如颜色或纹理)来创建既有效又逼真的对抗样本。最近的一些工作利用扩散反转过程将图像映射到潜在空间,在该空间中通过引入扰动来操纵高级语义。然而,这些方法往往会导致去噪输出中出现大量的语义失真,并且效率低下。在本研究中,我们提出了一种名为语义一致不受约束对抗攻击(SCA)的新框架,该框架采用了一种反转方法来提取易于编辑的噪声图,并利用多模态大型语言模型(MLLM)在整个过程中提供语义指导。在 MLLM 提供丰富语义信息的情况下,我们使用一系列易于编辑的噪声图执行每一步的 DDPM 去噪过程,并利用 DPM Solver++ 来加速此过程,从而实现语义一致的有效采样。与现有方法相比,我们的框架能够有效生成对抗样本,这些样本表现出最小的可辨认语义变化。因此,我们首次引入了语义一致对抗样本(SCAE)。大量的实验和可视化证明了 SCA 的高效率,特别是其速度平均比最先进的攻击快 12 倍。我们的代码可以在 https://github.com/Pan-Zihao/SCA 找到。