LLM2D
基于多领域原型联邦微调的联邦域自适应增强
Enhancing Federated Domain Adaptation with Multi-Domain Prototype-Based Federated Fine-Tuning
作者: Jingyuan Zhang, Yiyang Duan, Shuaicheng Niu, Yang Cao, Wei Yang Bryan Lim
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2410.07738v1

摘要

联邦域适应 (FDA) 是一种联邦学习 (FL) 场景,其中模型跨多个具有独特数据域但共享类别空间的客户端进行训练,而无需传输私有数据。FDA 中的主要挑战是数据异质性,这会导致使用传统的基于平均的聚合方法时梯度更新出现显著差异,从而降低全局模型的效力。这进一步损害了域内和域外性能(在同一个联邦系统内,但在本地客户端之外)。为了解决这个问题,我们提出了一种名为 **多域原型联邦微调 (MPFT)** 的新框架。MPFT 使用多域原型微调预训练模型,即使用来自类别特定本地数据的域特定信息丰富预训练表示。这使得服务器上的监督学习能够推导出一个全局优化的适配器,随后将该适配器分发到本地客户端,而不会侵犯数据隐私。实证结果表明,MPFT 在域内和域外精度方面都显著优于传统方法,增强了 FDA 中的知识保存和适应。值得注意的是,MPFT 在单轮通信内实现收敛,大大降低了计算和通信成本。为了确保隐私,MPFT 应用差分隐私来保护原型。此外,我们开发了一种基于原型的特征空间劫持攻击来评估鲁棒性,确认即使经过大量的训练周期,原始数据样本也无法恢复。MPFL 的完整实现可在 \url{https://anonymous.4open.science/r/DomainFL/} 获取。