LLM2D
联邦原型图学习
Federated Prototype Graph Learning
作者: Zhengyu Wu, Xunkai Li, Yinlin Zhu, Rong-Hua Li, Guoren Wang, Chenghu Zhou
发布日期: 4/15/2025
arXiv ID: oai:arXiv.org:2504.09493v1

摘要

arXiv:2504.09493v1 宣告类型: cross 摘要:近年来,联邦图学习(FGL)因其在基于图的机器智能应用中的分布式训练能力而备受关注,同时减轻了数据孤岛问题,并为大型图的隐私保护学习提供了新的视角。然而,多级FGL异构性带来了各种客户端-服务器合作挑战:(1) 模型级别:为了实现预期的性能和可扩展性,客户端之间的差异性需求异构模型的部署。不幸的是,大多数FGL方法由于服务器直接进行模型权重聚合而严格要求所有客户端模型一致。(2) 数据级别:图的复杂性特征,体现在节点特征和拓扑结构的交织中,提出了优化困境。这表明,通过联邦训练获得的模型在性能上难以超越。(3) 通信级别:一些FGL方法试图增加客户端之间或客户端与服务器之间的消息共享,以提高训练效果,但不可避免地导致通信成本高。本文提出FedPG作为一种多级别FGL异构性的通用原型指导优化方法。具体而言,在客户端,我们整合了多级拓扑感知原型来捕捉局部图语义。后续在服务器端,利用上传的原型,我们采用拓扑引导的对比学习和个人化技术为每位客户端定制全局原型,并广播以改进局部训练。实验结果显示,在准确率上,FedPG相比于当前最佳基线平均提高了3.57%,同时将通信成本降低了168倍。