LLM2D
基于神经图模型的联邦学习
Federated Learning with Neural Graphical Models
作者: Urszula Chajewska, Harsh Shrivastava
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2309.11680v3

摘要

联邦学习 (FL) 旨在利用多方私有数据构建模型,各参与方保留对其数据的独有控制权,同时通过资源共享提升模型精度。近期提出的神经图模型 (NGM) 是一种概率图模型,它利用神经网络强大的表达能力来学习输入特征之间复杂的非线性依赖关系。它们能够学习捕捉底层数据分布,并具有高效的推理和采样算法。我们开发了一个 FL 框架,该框架维护一个全局 NGM 模型,该模型学习来自本地 NGM 模型的平均信息,同时将训练数据保留在客户端环境中。我们的设计 FedNGMs 避免了像联邦匹配平均 (Federated Matched Averaging) 这样的神经元匹配框架的缺陷和不足,后者存在模型参数爆炸的问题。我们的全局模型大小在整个过程中保持不变。对于客户端拥有不在组合全局分布中的局部变量的情况,我们提出了一种“缝合”算法,该算法通过使用客户端数据合并附加变量来个性化全局 NGM 模型。FedNGM 对数据异构性、大量参与者和有限的通信带宽具有鲁棒性。我们通过实验演示了 FedNGMs 在提取疾病控制中心 (CDC) 婴儿死亡率数据集中的见解的应用,并讨论了未来一些有趣的应用。