LLM2D
客户端协作:具有保证的实用-隐私trade-off改进的灵活差异隐私联邦学习
Clients Collaborate: Flexible Differentially Private Federated Learning with Guaranteed Improvement of Utility-Privacy Trade-off
作者: Yuecheng Li, Lele Fu, Tong Wang, Jian Lou, Bin Chen, Lei Yang, Jian Shen, Zibin Zheng, Chuan Chen
发布日期: 5/6/2025
arXiv ID: oai:arXiv.org:2402.07002v2

摘要

arXiv:2402.07002v2 宣传类型:替换交叉 摘要:为了防止用户数据的隐私泄露,差分隐私在联邦学习中广泛应用,但这也并非没有代价。噪声的随机添加会破坏模型的语义完整性,并且这种干扰会随着通信轮次的增加而累积。在本文中,我们介绍了一种具有严格隐私保证的新型联邦学习框架,名为FedCEO,旨在通过让客户端“互相协作”来在模型效用和用户隐私之间寻求平衡。具体来说,我们在服务器端对堆叠的本地模型参数执行高效的张量低秩proximal优化,展示了其在频谱空间中灵活截断高频分量的能力。这种能力意味着我们的FedCEO可以通过平滑全局语义空间来有效恢复不同隐私设置和连续训练过程中的受损语义信息。此外,我们通过输入维度$d$的$\sqrt{d}$级提高了当前最先进的效用-隐私折衷边界。我们通过在代表性数据集上进行实验来验证我们的理论结果,并在不同的隐私设置下观察到显著的性能提升和严格的隐私保证。代码可在https://github.com/6lyc/FedCEO_Collaborate-with-Each-Other获得。