LLM2D
可迁移的代理模型在表达性强的神经架构搜索空间中
Transferrable Surrogates in Expressive Neural Architecture Search Spaces
作者: Shiwen Qin, Gabriela Kadlecov\'a, Martin Pil\'at, Shay B. Cohen, Roman Neruda, Elliot J. Crowley, Jovita Lukasik, Linus Ericsson
发布日期: 4/21/2025
arXiv ID: oai:arXiv.org:2504.12971v2

摘要

arXiv:2504.12971v2 公告类型: replace-cross 摘要:神经架构搜索(NAS)面临着在探索能够促进架构创新的表达性强、宽泛的搜索空间与高效评估架构以有效地搜索这些空间之间的挑战。我们研究了基于上下文无关文法的训练代理模型以改进高度表达性的NAS搜索空间中的搜索。我们展示了以下几点:i) 使用零成本代理指标和神经图特征(GRAF)或通过微调现成的语言模型训练的代理模型在评估数据集内外的架构性能预测方面具有高度的预测能力,ii) 这些代理模型可以在搜索新数据集时筛选出不良架构,从而显著加快搜索速度并达到更好的最终性能,iii) 这些代理模型还可以直接用作搜索目标,以实现巨大的速度提升。