LLM2D
GReDP:一种更鲁棒的差分隐私训练方法,具有梯度保留噪声减少功能
GReDP: A More Robust Approach for Differential Private Training with Gradient-Preserving Noise Reduction
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2409.11663v2

摘要

深度学习模型因其能够表示层次特征而在各个领域得到了广泛采用,这高度依赖于训练集和训练过程。因此,保护训练过程和深度学习算法在隐私保护中至关重要。尽管差分隐私(DP)作为一种强大的加密原语在深度学习训练中取得了令人满意的结果,但现有方案在保持模型效用方面仍存在不足,即它们要么引入了较高的噪声规模,要么不可避免地损害了原始梯度。为了解决上述问题,本文提出了一种更为稳健的DP训练方法,称为GReDP。具体而言,我们在频域中计算模型梯度,并采用了一种新方法来降低噪声水平。与之前的工作不同,我们的GReDP所需的噪声规模仅为DPSGD [1]的一半,同时保持所有梯度信息的完整性。我们对该方法进行了理论和实证的详细分析。实验结果表明,在所有模型和训练设置中,我们的GReDP始终优于基准方法。