arXiv:2211.05950v2 公告类型: 替换-交叉 摘要：在基于潜在空间优化（LSO）的神经架构搜索（NAS）方法中，训练一个深度生成模型将离散的神经架构嵌入到一个连续的潜在空间中。在这种情况下，可以在连续空间中实现不同的优化算法来搜索神经架构。然而，对于基于梯度的LSO，由于潜在空间到架构性能的映射通常是非凸的，因此优化潜在变量具有挑战性。为了解决这个问题，本文开发了一种凸性正则化潜在空间优化（CR-LSO）方法，该方法旨在正则化潜在空间的训练过程，以获得一个凸的架构性能映射。具体而言，CR-LSO 训练一个图变分自编码器（G-VAE）来学习离散架构的连续表示。同时，通过输入凸神经网络（ICNN）的保证凸性来正则化潜在空间的训练过程。通过这种方式，G-VAE 被强制学习一个从架构表示到架构性能的凸映射。随后，CR-LSO 使用 ICNN 近似性能映射，并利用估计的梯度来优化神经架构表示。在三个流行的 NAS 基准上的实验结果表明，CR-LSO 在计算复杂性和架构性能方面都取得了具有竞争力的评估结果。