摘要
深度神经网络(DNN)的训练中,超参数调整仍然是一个重大挑战,需要手动和/或耗时的网格搜索,从而增加了资源成本,并阻碍了机器学习的普及。DNN训练的全局初始学习率尤其重要。虽然已经提出了一些用于在训练过程中自动调整学习率的技术,但它们仍然需要手动搜索全局初始学习率。尽管存在一些不需要此初始选择的方法,但它们的性能较差。在这里,我们提出ExpTest,这是一种用于DNN训练的初始学习率搜索和后续学习率调整的复杂方法。ExpTest借鉴了线性化神经网络和损失曲线形式的见解,我们将损失曲线视为一个实时信号,在其上进行假设检验。我们从数学上论证了ExpTest,并提供了经验证据。ExpTest所需的额外开销极少,对超参数的选择具有鲁棒性,并且在各种任务和架构上实现了最先进的性能,无需初始学习率选择或学习率调度。