LLM2D
利用水印防御机制对抗文本到图像扩散模型中的未授权数据使用
Exploiting Watermark-Based Defense Mechanisms in Text-to-Image Diffusion Models for Unauthorized Data Usage
作者: Soumil Datta, Shih-Chieh Dai, Leo Yu, Guanhong Tao
发布日期: 11/28/2024
arXiv ID: oai:arXiv.org:2411.15367v2

摘要

基于文本的图像扩散模型,例如稳定扩散模型,在生成高质量图像方面展现出非凡的潜力。然而,最近的研究强调了在训练这些模型时使用未经授权数据的担忧,这可能导致知识产权侵犯或隐私泄露。一种减轻这些问题很有前景的方法是为图像添加水印,然后检查生成模型是否复制了类似的水印特征。本文研究了应用于文本到图像模型的各种基于水印的保护方法的鲁棒性。我们观察到,常见的图像变换无法有效去除水印效果。因此,我们提出了RATTAN方法,该方法利用扩散过程对受保护的输入进行受控图像生成,保留输入的高级特征,同时忽略水印利用的低级细节。然后,少量生成的图像用于微调受保护的模型。我们在三个数据集和140个文本到图像扩散模型上的实验表明,现有的最先进的保护方法对RATTAN并不鲁棒。