arXiv:2302.04406v3 宣布类型: replace-cross 摘要：在过去的十年中，零成本度量在神经架构搜索（NAS）中因其能够无需训练即可评估架构的能力而逐渐崭露头角。这些度量方法比传统NAS方法显著更快、计算成本更低，并提供了对神经架构内部工作原理的洞见。本文介绍了一种名为epsinas的新颖零成本NAS度量方法，该方法使用两个共用权重初始化以及它们输出的统计信息来评估架构潜力。我们展示了归一化后的原始输出分布与其平均幅度的关系强烈地与训练准确性相关。这种效果在NAS-Bench-101、NAS-Bench-201和NAS-Bench-NLP的图像分类任务和语言任务中均成立。我们的方法不需要数据标签，仅在一个批量数据上运行，并且消除了梯度计算的需求，因此与训练超参数、损失度量和人类注释无关。该方法可以在几毫秒内评估一个网络，并无缝集成到现有的NAS框架中。支持本研究的代码可以在GitHub上找到，网址为https://github.com/egracheva/epsinas。