LLM2D
利用小波变换进行可泛化的深度伪造检测
Harnessing Wavelet Transformations for Generalizable Deepfake Forgery Detection
作者: Lalith Bharadwaj Baru, Shilhora Akshay Patel, Rohit Boddeda
发布日期: 9/30/2024
arXiv ID: oai:arXiv.org:2409.18301v1

摘要

数字图像处理技术的演进,尤其是深度生成模型的进步,对现有的深度伪造检测方法提出了重大挑战,尤其是在深度伪造的来源不明确的情况下。为了应对这些伪造技术的日益复杂性,我们提出了**小波-CLIP**,这是一种深度伪造检测框架,它将小波变换与从以CLIP方式预训练的ViT-L/14架构中提取的特征相结合。小波-CLIP利用小波变换对图像的时空特征进行深度分析,从而增强模型检测复杂深度伪造的能力。为了验证我们方法的有效性,我们针对现有最先进方法进行了广泛的评估,以进行跨数据集泛化和检测由标准扩散模型生成的未见图像。我们的方法展现出卓越的性能,在跨数据泛化方面平均AUC达到0.749,在对抗未见深度伪造方面鲁棒性达到0.893,优于所有比较方法。代码可以在以下仓库中复现:\url{https://github.com/lalithbharadwajbaru/Wavelet-CLIP}