摘要
arXiv:2504.17827v1 宣布类型: cross
摘要:神经架构搜索(NAS)因其在深度学习模型设计中的变革潜力而获得了广泛关注。然而,NAS 的庞大而复杂的搜索空间导致了巨大的计算和时间成本。神经架构生成(NAG)通过将 NAS 重新定义为生成问题来解决这一问题,从而能够为特定任务生成最优架构。尽管 NAG 具有很大的潜力,但主流方法如扩散模型在全球搜索能力方面仍存在局限性,并且仍然受到高计算成本和时间需求的困扰。为克服这些挑战,我们提出了一种新的方法:基于进化扩散的神经架构生成(EDNAG),该方法实现了高效且无需训练的架构生成。EDNAG 利用进化算法模拟扩散模型中的去噪过程,使用适应度来引导从随机高斯分布到最优架构分布的过渡。这种方法结合了进化策略和扩散模型的优点,能够实现快速而有效的架构生成。大量实验表明,EDNAG 在架构优化方面达到了最先进的(SOTA)性能,准确率提高了高达 10.45%。此外,它消除了耗时的训练需求,平均加速推理速度 50 倍,展示了其卓越的效率和效果。