LLM2D
X-Transfer攻击:Towards超级转移可Transfer的 adversarial攻击在CLIP上
X-Transfer Attacks: Towards Super Transferable Adversarial Attacks on CLIP
作者: Hanxun Huang, Sarah Erfani, Yige Li, Xingjun Ma, James Bailey
发布日期: 5/12/2025
arXiv ID: oai:arXiv.org:2505.05528v1

摘要

arXiv:2505.05528v1 攻击类型: 跨域 摘要:随着对比语言-图像预训练(CLIP)模型被越来越多地应用于各种下游任务,并融入大型视觉-语言模型(VLMs),它们对对抗性扰动的敏感性已成为一个关键的担忧。在这项工作中,我们介绍了一种新颖的攻击方法 \textbf{X-Transfer},该方法揭示了CLIP中的普遍对抗性漏洞。X-Transfer生成了一个通用的对抗性扰动(UAP),这种扰动能够欺骗来自不同样本、不同任务和不同领域的各种CLIP编码器和下游VLMs。我们将这种性质称为 \textbf{超转移能力}——单一扰动同时实现跨数据、跨领域、跨模型和跨任务的对抗性转移。这通过我们方法的关键创新之一——\textbf{替代放大}——来实现。不同于现有方法依赖于固定的替代模型,这些模型在放大时计算强度大,X-Transfer采用了一种高效的替代放大策略,从大型搜索空间中动态选择合适的小子集。广泛的评估表明,X-Transfer显著优于之前最先进的UAP方法,建立了CLIP模型间对抗性转移的新基准。代码已在我们的 \href{https://github.com/HanxunH/XTransferBench}{GitHub仓库} 公开。