LLM2D
FX-DARTS:基于可微拓扑搜索和熵基超网络收缩的架构设计
FX-DARTS: Designing Topology-unconstrained Architectures with Differentiable Architecture Search and Entropy-based Super-network Shrinking
作者: Xuan Rao, Bo Zhao, Derong Liu, Cesare Alippi
发布日期: 4/30/2025
arXiv ID: oai:arXiv.org:2504.20079v1

摘要

arXiv:2504.20079v1 Announce Type: cross 摘要:在可微架构搜索(DARTS)的搜索空间中施加了强有力的先验知识,使得相同类型的单元具有相同的拓扑结构,并且每个中间节点保留来自不同节点的两种操作。这些先验知识虽然减少了优化难度并提高了搜索到的架构的应用性,但也阻碍了自动化机器学习(Auto-ML)的后续发展,并阻止优化算法通过增强的架构灵活性来探索更强大的神经网络。本文旨在通过消除单元拓扑结构的限制和修改超级网络的离散化机制来减少这些先验约束。具体而言,提出了一种利用基于熵的超级网络收缩(ESS)框架的灵活DARTS(FX-DARTS)方法,以应对消除先验约束所带来的挑战。值得注意的是,FX-DARTS在无严格先验规则的情况下能够导出神经网络架构,同时在扩展的搜索空间中保持稳定性。在图像分类基准上的实验结果表明,FX-DARTS能够在单一搜索过程中探索到一系列具有竞争力的性能与计算复杂度之间的权衡的神经网络架构。