LLM2D
进化遇上传播:高效神经架构生成
Evolution Meets Diffusion: Efficient Neural Architecture Generation
作者: Bingye Zhou, Caiyang Yu
发布日期: 5/1/2025
arXiv ID: oai:arXiv.org:2504.17827v3

摘要

arXiv:2504.17827v3 Announce Type: replace-cross 摘要:神经架构搜索(NAS)因其在深度学习模型设计中的革命性潜力而引起了广泛的关注。然而,NAS庞大的且复杂的搜索空间导致了显著的计算和时间成本。神经架构生成(NAG)通过将NAS重新定义为生成问题来解决这一问题,能够为特定任务生成精确的最佳架构。尽管NAG充满了希望,主流方法如扩散模型在全局搜索能力方面仍然存在局限,仍然受到高计算和时间需求的阻碍。为了克服这些挑战,我们提出了一种新的方法进化扩散基于神经架构生成(EDNAG),该方法实现了高效且无需训练的架构生成。EDNAG利用进化算法模拟扩散模型中的去噪过程,使用适应度来引导从随机高斯分布到最佳架构分布的过渡。这种方法结合了进化策略和扩散模型的优点,能够实现快速且有效的架构生成。广泛的实验证明,EDNAG在架构优化方面达到了目前最先进(SOTA)的性能,准确率提高了高达10.45%。此外,它消除了耗时的训练需求,并将推理速度平均提高50倍,展示了其卓越的效率和有效性。