摘要
arXiv:2504.21545v1 公告类型:交叉学科
摘要:基于进化计算(EC)的神经架构搜索(NAS)在自动设计神经网络架构方面取得了显著的性能。然而,评估搜索到的架构相关的高计算成本构成了这些方法的一个挑战,而固定的学习率(LR)调度意味着在评估多样化的搜索架构时会有更大的信息丢失。本文通过一个创新的元学习框架引入了一种高效的基于进化计算的NAS方法来解决这些问题。具体来说,通过预训练使用元学习率(Meta-LR)方案来获得一个合适的LR调度,这在评估每个个体时以较低的信息丢失指导训练过程。设计了一个自适应阈值的自适应代理模型,在几轮内选择潜在的架构,然后使用完整的轮次评估潜在的架构。此外,提出了一种周期性突变操作,以增加种群的多样性,从而增强泛化能力和鲁棒性。在CIFAR-10、CIFAR-100和ImageNet1K数据集上的实验表明,所提出的方法在计算成本较低的情况下,与许多最先进技术相当,具有更高的鲁棒性。