摘要
深度学习模型因其能够表示层次特征而在各个领域得到了广泛采用,这高度依赖于训练集和训练过程。因此,保护训练过程和深度学习算法在隐私保护中至关重要。尽管差分隐私(DP)作为一种强大的加密原语在深度学习训练中取得了令人满意的结果,但现有方案在保持模型效用方面仍存在不足,即它们要么引入了较高的噪声规模,要么不可避免地损害了原始梯度。为了解决上述问题,本文提出了一种更为稳健的DP训练方法,称为GReDP。具体而言,我们在频域中计算模型梯度,并采用了一种新方法来降低噪声水平。与之前的工作不同,我们的GReDP所需的噪声规模仅为DPSGD [1]的一半,同时保持所有梯度信息的完整性。我们对该方法进行了理论和实证的详细分析。实验结果表明,在所有模型和训练设置中,我们的GReDP始终优于基准方法。