扩散模型彻底改变了定制的文本到图像生成，使得能够高效地从包含文本描述的个人数据中合成照片。然而，这些进步带来了隐私泄露和未经授权复制艺术作品的风险。以往的研究主要集中于使用提示特定方法生成对抗性示例来保护个人图像，但现有方法的有效性受到其对不同提示的适应能力有限的阻碍。本文提出了一种针对定制扩散模型的提示无关对抗性扰动（PAP）方法。PAP 首先使用拉普拉斯近似法对提示分布进行建模，然后通过最大化基于建模分布的扰动期望来生成提示无关扰动。这种方法有效地解决了提示无关攻击，从而提高了防御稳定性。在面部隐私和艺术风格保护方面的广泛实验表明，与现有技术相比，PAP 具有更好的泛化能力。我们的项目页面位于 https://github.com/vancyland/Prompt-Agnostic-Adversarial-Perturbation-for-Customized-Diffusion-Models.github.io。