arXiv:2503.22988v1 类型: cross 摘要: 差分隐私随机梯度下降（DP-SGD）是一种广泛采用的技术，用于保护隐私的深度学习。DP-SGD 中的一个关键挑战是在于选择最优的剪裁阈值 C，这涉及到在剪裁偏差和噪声幅度之间平衡，导致了大量的隐私和计算开销，在超参数调整过程中尤为明显。 在本文中，我们提出了一种名为动态剪裁 DP-SGD（DC-SGD）的框架，该框架利用差分隐私直方图来估计梯度范数分布并动态调整剪裁阈值 C。我们的框架包括两种新颖的机制：DC-SGD-P 和 DC-SGD-E。DC-SGD-P 根据梯度范数的百分位数调整剪裁阈值，而 DC-SGD-E 通过最小化梯度的期望平方误差来优化 C。这些动态调整大大减少了剪裁阈值 C 的超参数调整负担。在包括图像分类和自然语言处理在内的各种深度学习任务上进行的广泛实验表明，我们提出的方法在超参数调整方面的加速比 DP-SGD 快至 9 倍。而且，在相同的隐私预算下，DC-SGD-E 在 CIFAR10 上可以比 DP-SGD 提高 10.62% 的准确率。我们进行了严格的理论隐私和收敛性分析，显示我们的方法可以无缝地与 Adam 优化器集成。我们的结果突显了 DC-SGD 的稳健性能和效率，并为具有减少计算开销和增强隐私保障的差分隐私深度学习提供了实用的解决方案。