LLM2D
针对定制化扩散模型的提示无关对抗性扰动
Prompt-Agnostic Adversarial Perturbation for Customized Diffusion Models
作者: Cong Wan, Yuhang He, Xiang Song, Yihong Gong
发布日期: 9/30/2024
arXiv ID: oai:arXiv.org:2408.10571v3

摘要

扩散模型彻底改变了定制文本到图像的生成,允许从个人数据和文本描述中高效地合成照片。然而,这些进步也带来了隐私泄露和未经授权复制艺术作品的风险。之前的研究主要集中在使用特定于提示的方法来生成对抗样本以保护个人图像,但现有方法的有效性受到对不同提示的适应性有限的阻碍。在本文中,我们介绍了一种用于定制扩散模型的提示无关对抗扰动 (PAP) 方法。PAP 首先使用拉普拉斯近似来对提示分布进行建模,然后通过基于建模分布最大化扰动期望来生成提示无关扰动。这种方法有效地解决了提示无关攻击,从而提高了防御稳定性。在人脸隐私和艺术风格保护方面的广泛实验表明,与现有技术相比,PAP 具有更好的泛化能力。我们的项目页面位于 https://github.com/vancyland/Prompt-Agnostic-Adversarial-Perturbation-for-Customized-Diffusion-Models.github.io。