arXiv:2504.05618v1 宣告类型: cross 摘要: 差分隐私(DP)已成为广泛机器学习任务中的一种主流隐私模型，特别是在DP-SGD亮相之后。然而，DP-SGD直接在训练迭代中扰动梯度，未能减轻噪音对梯度方向的负面影响。因此，DP-SGD通常效率较低。尽管提出了一些解决方案（例如，梯度裁剪以降低梯度敏感性，并放大隐私边界以节省隐私预算），以在隐私与模型效率之间进行权衡，但其效率低下的根本原因尚未揭开。 在这项工作中，我们首先扩展了DP-SGD，并从理论上推导出DP噪音对训练过程的影响。我们的分析揭示出，从扰动梯度的角度来看，只有方向上的噪音对模型效率有显著影响，而幅度上的噪音可以通过优化技术（如精细调整梯度裁剪和学习率）减轻。此外，我们确认，当向梯度本身添加无偏噪音时，传统的DP会在方向上引入有偏的噪音。总体而言，DP-SGD的扰动实际上从几何学角度来看是次优的。受此启发，我们设计了一种在DP框架内的几何扰动策略GeoDP，分别扰动梯度的方向和幅度。通过直接减少方向上的噪音，GeoDP在保持相同DP保障的情况下减轻了DP噪音对模型效率的负面影响。在两个公开数据集（即MNIST和CIFAR-10）、一个合成数据集和三种常见模型（即逻辑回归、CNN和ResNet）上的广泛实验确认了我们策略的有效性和普适性。