摘要
可微分架构搜索(DARTS)作为一种有效的神经架构搜索技术,近年来崭露头角。其主要包含两个步骤来寻找高性能架构:首先,通过梯度下降优化由混合操作组成的DARTS超网;其次,通过选择对超网贡献最大的操作来构建最终架构。尽管DARTS提高了NAS的效率,但它存在一个众所周知的退化问题,可能导致架构性能下降。现有研究主要将退化问题归因于超网优化的失败,而对选择方法的关注较少。本文中,我们不再采用广泛使用的基于幅度的选择方法,而是提出了一种基于操作强度的新标准,通过操作对最终损失的影响来估计其重要性。我们表明,通过使用所提出的标准,可以有效解决退化问题,而无需修改超网优化,这表明基于幅度的选择方法可能是DARTS不稳定性的关键原因。在NAS-Bench-201和DARTS搜索空间上的实验证明了我们方法的有效性。