LLM2D
联邦印象:基于分布式异构数据的学习
Federated Impression for Learning with Distributed Heterogeneous Data
作者: Atrin Arya, Sana Ayromlou, Armin Saadat, Purang Abolmaesumi, Xiaoxiao Li
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2409.07351v2

摘要

标准的基于深度学习的分类方法在实际临床应用中并不总是切实可行的,因为它们需要集中收集所有样本。联邦学习 (FL) 提供了一种范式,可以在不要求客户端共享数据的情况下从分布式数据集学习,这有助于缓解隐私和数据所有权问题。在联邦学习中,由于不同医疗中心的数据收集协议和患者人口统计数据的差异,由数据异质性引起的次优收敛在不同医疗中心的数据中很常见。本研究通过实验表明,数据异质性会导致局部训练过程中出现灾难性遗忘现象。我们提出了 FedImpres,它通过恢复代表全局信息的合成数据作为联邦印象来缓解灾难性遗忘。为此,我们提取了每次通信轮次产生的全局模型。随后,我们将合成数据与局部数据一起使用,以增强局部训练的泛化能力。大量的实验表明,该方法在包含标签不平衡和域偏移的 BloodMNIST 和 Retina 数据集上取得了最先进的性能,分类准确率提高了高达 20%。