摘要
过参数化模型通常容易受到成员推理攻击,该攻击旨在确定特定样本是否包含在给定模型的训练中。以往的权重正则化(例如,L1 正则化)通常对所有参数施加统一的惩罚,导致模型效用和隐私之间权衡不佳。在这项工作中,我们首先表明,只有一小部分参数会对隐私风险产生重大影响。鉴于此,我们提出了隐私感知稀疏性调整 (PAST),这是一种对 L1 正则化的简单修复,通过对不同参数采用自适应惩罚来实现。PAST 背后的关键思想是促进对显着有助于隐私泄露的参数进行稀疏化。特别是,我们根据每个参数的隐私敏感性(即损失差距相对于参数的梯度)来构建每个参数的自适应权重。使用 PAST,网络缩小了成员和非成员之间的损失差距,从而对隐私攻击具有很强的抵抗力。大量实验表明 PAST 的优越性,在隐私-效用权衡方面达到了最先进的平衡。