LLM2D
批判性学习:非 IID 数据上联邦学习的 selective 自我蒸馏
Learning Critically: Selective Self Distillation in Federated Learning on Non-IID Data
作者: Yuting He, Yiqiang Chen, XiaoDong Yang, Hanchao Yu, Yi-Hua Huang, Yang Gu
发布日期: 4/22/2025
arXiv ID: oai:arXiv.org:2504.14694v1

摘要

arXiv:2504.14694v1 宣告类型: cross 摘要:多方学习(FL)允许多个客户端协同训练一个全局模型,同时保持本地数据去中心化。客户端之间数据异质性(非IID)给FL带来了重大挑战,这使得本地模型重新优化以适应自己的本地最优解,而忘记全局知识,导致性能下降和收敛速度减慢。现有许多研究尝试通过在本地训练中添加额外的基于全局模型的正则化项来解决非IID问题,但没有提出适应方案,这在使用深度学习模型时效率不够高以达到高性能。在本文中,我们提出了一种针对多方学习的Selective Self-Distillation方法(FedSSD),该方法通过对全局模型知识进行自我蒸馏并在评估类和样本层次的可信度后对其选择性加权来在本地更新上施加自适应约束。FedSSD 的收敛性保证在理论上进行了分析,并在三个公开基准数据集上进行了广泛实验,结果表明,与现有的其他最先进的FL方法相比,FedSSD 在更少的通信轮次中实现了更好的泛化能力和鲁棒性。