摘要
arXiv:2504.05838v1 声称类型: 交叉
摘要:近年来,图像提示适配器(IP-Adapter)已被越来越多地集成到文本到图像扩散模型(T2I-DMs)中,以提高可控性。然而,本文揭示了带有IP-Adapter的T2I-DMs(T2I-IP-DMs)能够启用一种全新的脱狱攻击,即接管攻击。我们展示了,在上传不可感知的图像空间对抗样本(AEs)的情况下,攻击者可以重新利用大量无辜用户,让由T2I-IP-DMs驱动的图像生成服务(IGS)脱狱,并引导公众诋毁服务提供商。更糟糕的是,IP-Adapter对开源图像编码器的依赖性降低了制作AEs所需的知识。大量实验验证了接管攻击的技术可行性。鉴于揭示的威胁,我们调查了几种现有的防御措施,并探索将IP-Adapter与对抗训练模型结合以克服现有防御措施的局限性。我们的代码可在 https://github.com/fhdnskfbeuv/attackIPA 获取。