LLM2D
DPImageBench:一个统一的差分隐私图像合成基准
DPImageBench: A Unified Benchmark for Differentially Private Image Synthesis
作者: Chen Gong, Kecen Li, Zinan Lin, Tianhao Wang
发布日期: 4/14/2025
arXiv ID: oai:arXiv.org:2503.14681v2

摘要

arXiv:2503.14681v2 宣告类型: replace-cross 摘要:差分隐私(DP)图像合成旨在生成保留敏感图像属性的同时保护数据集中每个图像隐私的人工图像。尽管近期取得了一些进展,但我们发现不同研究中应用了一致性较差——有时甚至是错误的评估协议。这不仅阻碍了对当前方法的理解,也阻碍了未来的发展。 为解决这一问题,本文引入了DPImageBench,从多个维度进行精心设计:(1)方法。我们研究了十一个 prominent 方法,并从模型结构、预训练策略和隐私机制方面系统地对其进行了表征。(2)评估。我们包括了九个数据集和七个保真度和实用度指标,以彻底评估这些方法。值得注意的是,我们发现一种常见做法,即根据敏感测试集上的最高准确度选择下游分类器,不仅违反了 DP,还会高估实用度评分。DPImageBench 对这些错误进行了修正。(3)平台。尽管有各种方法和评估协议,DPImageBench 提供了一个标准化接口,使当前和未来的实现能够在统一框架内适配。借助 DPImageBench,我们取得了一些值得注意的发现。例如,与常识相反,我们发现,预先在公共图像数据集上进行训练通常是有益的这种看法是不正确的。我们发现,预训练数据和敏感图像之间的分布相似性显著影响合成图像的性能,并不一定总是带来改善。此外,相对于添加噪声到高维特征(如权重梯度),添加低维特征(如敏感图像的高层特征)的噪声对隐私预算的敏感度较低。在低隐私预算下,前者方法的性能优于后者。