LLM2D
不同隐私- utility 平衡的多目标优化在差分隐私联邦学习中的应用
Multi-Objective Optimization for Privacy-Utility Balance in Differentially Private Federated Learning
作者: Kanishka Ranaweera, David Smith, Pubudu N. Pathirana, Ming Ding, Thierry Rakotoarivelo, Aruna Seneviratne
发布日期: 3/28/2025
arXiv ID: oai:arXiv.org:2503.21159v1

摘要

arXiv:2503.21159v1 Announce Type: 跨越 摘要:联邦学习(FL)能够在不共享原始数据的情况下让分布式客户端协作进行模型训练,使其成为隐私保护机器学习的一种有前途的方法。然而,在FL中保证差分隐私(DP)面临着挑战,因为模型效用和隐私保护之间存在权衡。在聚合前对梯度进行裁剪是一种常见的限制隐私损失的策略,但选择最优的裁剪范数并不简单,因为过高值会损害隐私,而过于严格的裁剪会降低模型性能。在本项工作中,我们提出了一种自适应裁剪机制,使用多目标优化框架动态调整裁剪范数。通过将隐私和效用考虑融入优化目标中,我们的方法平衡了隐私保护与模型精度。我们从理论上分析了我们方法的收敛性质,并通过在MNIST、Fashion-MNIST和CIFAR-10数据集上的广泛实验证明了其有效性。结果显示,自适应裁剪在相同的隐私约束下始终优于固定裁剪基准,实现了更高的准确性。本文强调了动态裁剪策略在不同类型的差分隐私联邦学习中增强隐私-效用权衡的潜力。