LLM2D
在表达性强的神经架构搜索空间中的可迁移替代模型
Transferrable Surrogates in Expressive Neural Architecture Search Spaces
作者: Shiwen Qin, Gabriela Kadlecov\'a, Martin Pil\'at, Shay B. Cohen, Roman Neruda, Elliot J. Crowley, Jovita Lukasik, Linus Ericsson
发布日期: 4/18/2025
arXiv ID: oai:arXiv.org:2504.12971v1

摘要

arXiv:2504.12971v1 宣告类型: cross 摘要:神经架构搜索(NAS)面临一个挑战,即在探索能够促进架构创新的高度表达性宽广搜索空间的同时,还需要高效评估架构以有效地搜索这样的空间。我们研究基于上下文无关文法的架构创新的代理模型训练,以提高搜索。我们表明:i) 使用零成本代理度量和神经图特征(GRAF)或微调现成的语言模型训练的代理模型,对于在不同数据集中架构的性能具有很高的预测能力,ii) 这些代理模型可以在探索新数据集时过滤掉不良架构,从而显著加快搜索,并实现更好的最终性能,iii) 这些代理模型还可以进一步直接用作搜索目标,以实现巨大的速度提升。