arXiv:2504.09941v1 宣布类型: cross 摘要: 在现实世界场景中，多模态数据通常不完整，并表现出非独立且非同分布（Non-IID）的特性。这些固有的限制导致了模态异构性，通过部分模态缺失，以及由于分布差异引起的数据异构性，从而为有效的联邦学习（FL）带来了根本性的挑战。为了应对这些相互关联的挑战，我们提出了FedRecon，这是第一个同时针对多模态FL中缺失模态重建和Non-IID适应的方法。我们的方法首先通过轻量级的多模态变分自编码器（MVAE）来重建缺失的模态，同时保持跨模态一致性。不同于传统的插补方法，我们通过一种新颖的分布映射机制实现了样本级别的对齐，从而保证了数据的一致性和完整性。此外，我们引入了一种策略，通过冻结全局生成器以防止灾难性遗忘，从而减轻Non-IID波动。在多模态数据集上的广泛评估表明，FedRecon在Non-IID条件下能够更优越地实现模态重建，超越了最先进的方法。