LLM2D
进化遇上了扩散:高效神经架构生成
Evolution Meets Diffusion: Efficient Neural Architecture Generation
作者: Bingye Zhou, Caiyang Yu
发布日期: 4/29/2025
arXiv ID: oai:arXiv.org:2504.17827v2

摘要

arXiv:2504.17827v2 宣传类型: 替换交叉 摘要:神经架构搜索(NAS)因其在深度学习模型设计中的变革潜力而广受关注。然而,NAS 的庞大且复杂的搜索空间导致了显著的计算和时间成本。神经架构生成(NAG)通过将 NAS 重新定义为生成问题,解决了这一问题,从而能够为特定任务精确生成最优架构。尽管 NAG 具有很大的潜力,主流方法如扩散模型仍然存在全局搜索能力的局限性,并且仍然受到高计算和时间成本的阻碍。为了克服这些挑战,我们提出了一种名为进化扩散驱动的神经架构生成(EDNAG)的新型方法,该方法实现了高效的、无需训练的架构生成。EDNAG 利用进化算法模拟扩散模型中的去噪过程,使用适应度指导从随机高斯分布向最优架构分布的过渡。这种方法结合了进化策略和扩散模型的优势,能够实现快速且有效的架构生成。广泛的实验结果表明,EDNAG 在架构优化方面达到了最先进的(SOTA)性能,准确率提高了高达 10.45%。此外,它消除了耗时的训练需求,并通过平均提升 50 倍的速度提高推理速度,展示了其卓越的效率和效果。