arXiv:2503.22988v2 Announce Type: replace-cross 摘要：差分隐私梯度下降（DP-SGD）是广泛采用的隐私保护深度学习技术。DP-SGD 中的关键挑战是在裁剪阈值 C 选择最优值时平衡裁剪偏差和噪声幅度之间的权衡，这在超参数调优过程中会带来显著的隐私和计算开销。 在这篇论文中，我们提出了一种动态裁剪 DP-SGD（DC-SGD）框架，该框架利用差分隐私直方图估计梯度范数分布并动态调整裁剪阈值 C。我们的框架包括两种新型机制：DC-SGD-P 和 DC-SGD-E。DC-SGD-P 根据梯度范数的百分位数调整裁剪阈值，而 DC-SGD-E 通过最小化梯度的均方误差来优化 C。这些动态调整显著减轻了裁剪阈值 C 的超参数调优负担。在各种深度学习任务上的广泛实验，包括图像分类和自然语言处理，表明我们提出的方法在超参数调优方面比 DP-SGD 快多达 9 倍。而且，在相同的超参数调优隐私预算下，DC-SGD-E 在 CIFAR10 上可以实现比 DP-SGD 高 10.62% 的准确性改进。我们进行了严格的理论隐私和收敛分析，表明我们的方法可以无缝集成 Adam 优化器。我们的结果突显了 DC-SGD 的稳健性能和效率，提供了一种具有减少计算开销和增强隐私保证的实用解决方案，适用于差分隐私深度学习。