LLM2D
federated神经架构搜索与模型无感元学习
Federated Neural Architecture Search with Model-Agnostic Meta Learning
作者: Xinyuan Huang, Jiechao Gao
发布日期: 4/10/2025
arXiv ID: oai:arXiv.org:2504.06457v1

摘要

arXiv:2504.06457v1 交叉公告类型 摘要:联邦学习(FL)常常因为用户数据在设备间的自然不均匀分布而难以应对数据异质性问题。联邦神经架构搜索(NAS)能够促进针对异质数据的最优模型架构的协作搜索,以实现更高的准确率。然而,这一过程由于搜索空间广泛和重复训练而耗时。为克服这一问题,我们提出了FedMetaNAS框架,在FL背景下结合元学习与NAS,通过减少搜索空间和去除重复训练来加速架构搜索。我们的方法首先利用Gumbel-Softmax重参数化来促进搜索空间中混合操作的松弛。然后,我们通过引入模型无关的元学习技术,结合特定任务的学习器不仅调整权重,还调整架构参数(α),而元学习器则根据任务学习器的梯度信息调整整个模型的权重和α。在元更新之后,我们提出使用相同的技巧在搜索空间中进行软剪枝,逐步稀疏化架构,确保剪枝后的选定架构性能仍然稳健,从而可以在不进行重复训练的情况下立即使用模型。实验评估显示,与FedNAS相比,FedMetaNAS能够将搜索过程加速超过50%,并在更高准确率上实现这一点。