摘要
arXiv:2505.06651v1 宣布类型: 交叉
摘要: 大多数现有的带差分隐私(DP)保障的去中心化学习方法依赖于恒定的梯度裁剪界和每个节点在整个训练过程中固定水平的DP高斯噪声,这导致与非私有对等相比显著的准确率下降。在本文中,我们提出了一种新的动态差分隐私去中心化学习方法(称为Dyn-D$^2$P),适用于一般的时间变化有向网络。利用高斯DP(GDP)框架进行隐私核算,Dyn-D$^2$P根据梯度收敛动态调整梯度裁剪界和噪声水平。提出的这种动态噪声策略使我们在保持总隐私预算的同时,能够提升模型准确率。在基准数据集上的广泛实验表明,Dyn-D$^2$P相较于采用固定水平噪声的对等方法,特别是在强隐私保障下,表现出优越性。此外,我们为Dyn-D$^2$P提供了可证明的效用上限,该上限明确依赖于网络相关参数,并且在节点数量n的$\sqrt{n}$缩放因子下具有一个由梯度裁剪引起的偏差误差项。据我们所知,这是首次对具有动态梯度裁剪界和噪声水平的不同差分隐私去中心化非凸优化模型的效用进行分析。