摘要
arXiv:2504.12971v2 公告类型: replace-cross
摘要:神经架构搜索(NAS)面临着在探索能够促进架构创新的表达性强、宽泛的搜索空间与高效评估架构以有效地搜索这些空间之间的挑战。我们研究了基于上下文无关文法的训练代理模型以改进高度表达性的NAS搜索空间中的搜索。我们展示了以下几点:i) 使用零成本代理指标和神经图特征(GRAF)或通过微调现成的语言模型训练的代理模型在评估数据集内外的架构性能预测方面具有高度的预测能力,ii) 这些代理模型可以在搜索新数据集时筛选出不良架构,从而显著加快搜索速度并达到更好的最终性能,iii) 这些代理模型还可以直接用作搜索目标,以实现巨大的速度提升。