LLM2D
全局干预和蒸馏以实现联邦领域外泛化
Global Intervention and Distillation for Federated Out-of-Distribution Generalization
作者: Zhuang Qi, Runhui Zhang, Lei Meng, Wei Wu, Yachong Zhang, Xiangxu Meng
发布日期: 4/2/2025
arXiv ID: oai:arXiv.org:2504.00850v1

摘要

arXiv:2504.00850v1 宣告类型: cross 摘要:联邦学习中的属性偏差会导致本地模型专注于学习非因果关联,从而引导它们朝着不一致的优化方向发展,这不可避免地导致性能下降和不稳定收敛。现有的方法通常利用数据增强来增强样本多样性,或采用知识蒸馏来学习不变表示。然而,生成数据质量的不稳定性以及缺乏领域信息限制了它们在未见过样本上的性能。为了解决这些问题,本文提出了一种全局干预和蒸馏方法,称为FedGID,该方法利用多样化的属性特征进行后门调整,以打破背景与标签之间的虚假关联。它包括两个主要模块:全局干预模块在图像中自适应地分解对象和背景,向随机样本注入背景信息以干预样本分布,使背景与所有类别相关联,从而防止模型将背景-标签关联视为因果关联。全局蒸馏模块利用统一的知识库来引导客户端模型的表现学习,防止本地模型过度拟合到特定于客户端的属性。在三个数据集上的实验结果表明,FedGID增强了模型在未见过数据中集中关注主要主题的能力,并在协作建模中优于现有方法。