LLM2D
卷积神经网络中超参数重要性评估的有效方法
Efficient Hyperparameter Importance Assessment for CNNs
作者: Ruinan Wang, Ian Nabney, Mohammad Golbabaee
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2410.08920v1

摘要

超参数选择是机器学习流程中不可或缺的一环,它深刻影响着模型的鲁棒性、稳定性和泛化能力。鉴于神经网络复杂的超参数空间以及计算资源和时间的限制,优化所有超参数变得不切实际。在这种情况下,利用超参数重要性评估 (HIA) 可以通过缩小搜索空间提供宝贵的指导。这使机器学习从业者能够将优化工作集中在对模型性能影响最大的超参数上,同时节省时间和资源。本文旨在使用一种名为 N-RReliefF 的算法量化卷积神经网络 (CNN) 中一些超参数的重要性权重,为在深度学习领域应用 HIA 方法奠定基础。我们通过对十个流行的图像分类数据集训练超过一万个 CNN 模型进行了广泛的研究,从而获得了一个包含超参数配置实例及其相应性能指标的综合数据集。结果表明,在所研究的超参数中,CNN 模型最重要的五个超参数是卷积层数、学习率、丢弃率、优化器和 epoch。