摘要
越来越多的研究关注于衡量客户本地数据集的统计异质性。此类度量用于估计个性化联邦学习 (PFL) 模型协作训练的适用性。目前,这些研究工作处于孤立状态,缺乏统一的基准来在常见设置中提供各种方法的公平、便捷的比较。本文旨在弥合这一重要差距。所提出的基准框架目前包含六种代表性方法。已进行大量实验以比较这些方法在五种标准非 IID FL 设置下的性能,为哪些方法在哪些设置下更具优势提供了急需的见解。所提出的框架为各种数据差异度量在 FL 系统中的适用性提供了有用的指导。它有利于将相关研究活动保持在正确的轨道上,具体而言: (1) 设计 PFL 方案,(2) 为特定 FL 应用场景选择合适的数据异质性评估方法,以及 (3) 解决协作模型训练中的公平问题。代码可在 https://github.com/Xiaoni-61/DH-Benchmark 获取。