LLM2D
密集优化器:一种基于信息熵引导的结构搜索方法,用于密集型神经网络设计
Dense Optimizer : An Information Entropy-Guided Structural Search Method for Dense-like Neural Network Design
作者: Liu Tianyuan, Hou Libin, Wang Linyuan, Song Xiyu, Yan Bin
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2410.07499v1

摘要

密集卷积网络因其轻量级和高效的结构,不断被优化以采用高效且紧凑的架构。然而,目前的密集型架构主要依靠人工设计,根据经验调整通道和重用级别变得越来越困难。为此,我们提出了一种名为 Dense Optimizer 的架构搜索方法,可以自动搜索高性能的密集型网络。在 Dense Optimizer 中,我们将密集网络视为一个分层信息系统,最大化网络的信息熵,同时通过幂律约束每个阶段熵的分布,从而构建一个优化问题。我们还提出了一种分支定界优化算法,将幂律原理与搜索空间缩放紧密结合,以高效地解决优化问题。Dense Optimizer 的优越性已在不同的计算机视觉基准数据集上得到验证。具体来说,Dense Optimizer 完成了高质量的搜索,但仅使用一台 CPU 耗时 4 小时。我们搜索的模型 DenseNet-OPT 在 CIFAR-100 上取得了 84.3% 的 top 1 准确率,比原始模型高出 5.97%。