LLM2D
FedSKD:基于多维度相似性知识蒸馏的无聚合模型异构联邦学习
FedSKD: Aggregation-free Model-heterogeneous Federated Learning using Multi-dimensional Similarity Knowledge Distillation
作者: Ziqiao Weng, Weidong Cai, Bo Zhou
发布日期: 3/26/2025
arXiv ID: oai:arXiv.org:2503.18981v1

摘要

arXiv:2503.18981v1 宣传类型: 交叉 摘要:联邦学习(FL) enables隐私保护的协作模型训练,无需直接数据共享。异构模型联邦学习(MHFL)扩展了这一范式,允许客户端使用根据其计算资源和特定应用程序需求定制的异构架构训练个性化模型。然而,现有的MHFL方法主要依赖于集中式聚合,这引入了可扩展性和效率瓶颈,或者对客户端施加了部分模型架构相同的限制。虽然点对点(P2P)FL消除了对服务器的依赖,但它遭受模型漂移和知识稀释的问题,限制了其在异构环境中的有效性。为了解决这些问题,我们提出了FedSKD,一个新颖的MHFL框架,通过轮询模型流通直接促进知识交流,同时在客户端间允许完全异构的模型架构,无需集中式聚合。FedSKD的关键创新在于多维度相似知识提取与精简,这使得在批量、像素/体素和区域级别上,在FL中的异构模型之间实现双向跨客户端知识转移。这种方法通过渐进强化和分布对齐来缓解灾难性遗忘和模型漂移,同时保持模型异构性。在基于fMRI的自闭症谱系障碍诊断和皮肤病变分类的广泛评估中,FedSKD证明了其在最先进的异构和同质FL基线方法中的优越性,实现了更好的个性化(客户端特定的准确性)和泛化(跨机构适应性)。这些发现突显了FedSKD作为适用于实际医疗联邦学习应用的可扩展和稳健解决方案的潜力。