LLM2D
适应性原型知识迁移:混合模态下的联邦学习与异质任务
Adaptive Prototype Knowledge Transfer for Federated Learning with Mixed Modalities and Heterogeneous Tasks
作者: Keke Gai, Mohan Wang, Jing Yu, Dongjue Wang, Qi Wu
发布日期: 2/10/2025
arXiv ID: oai:arXiv.org:2502.04400v1

摘要

arXiv:2502.04400v1 通知类型: 交叉 摘 要: 多模态联邦学习 (MFL) 允许多个客户端在确保客户端隐私的同时,协作训练多模态数据上的模型。然而,模态和任务的异构性阻碍了客户端学习统一表示,削弱了局部模型的泛化能力,尤其是在混合模态的 MFL 中,只有部分客户端拥有多模态数据时更为明显。在本文中,我们针对上述问题,提出了一种适应性的基于原型的混合模态联邦学习 (AproMFL) 框架,适用于混合模态和异构任务的情况。我们的 AproMFL 通过无先验公共数据集自适应地传递知识。客户端根据任务自适应地选择原型构建方法;服务器将客户端的原型转换为统一的多模态原型,并将它们聚合形成全局原型,避免客户端保存统一标签。我们将模型划分为多个模块,并仅聚合映射模块以减少通信和计算开销。为了应对异构性带来的聚合问题,我们开发了一种基于客户端关系图的方案,以动态调整聚合权重。广泛的实验表明了 AproMFL 的有效性。