深度学习的爆炸式发展成功地实现了机器学习特征提取的自动化。然而，深度神经网络架构的结构和超参数对不同任务的性能也有着巨大的影响。探索最佳结构和超参数的过程往往需要大量繁琐的人工干预。因此，一个合理的问题是询问如何自动搜索最佳网络结构和超参数。超参数优化旨在自动寻找最优的超参数。神经网络结构搜索旨在自动寻找特定任务的最佳网络结构。本文首先介绍了神经网络结构搜索的整体发展，然后主要集中于提供关于与强化学习相关的结构搜索工作的整体和可理解的综述，包括基于满足更复杂结构和资源不足环境的希望的改进和变体。