arXiv:2407.15200v3 通知类型: 替换-交叉 摘要：这项研究提出了一种新的学习率调度器——双曲学习率调度器（HyperbolicLR）和指数双曲学习率调度器（ExpHyperbolicLR），旨在解决由于在传统方法中经常导致学习曲线不一致的epoch敏感性问题。通过利用双曲线曲线的渐近行为，所提出的调度器能够在各种epoch设置下保持更稳定的learning曲线。具体而言，HyperbolicLR将该特性直接应用于epoch与学习率的空间，而ExpHyperbolicLR则将其扩展到指数空间。我们首先在少量epochs上确定每个调度器的最佳超参数，固定这些超参数，然后随着epochs数量的增加评估性能。在各类深度学习任务（例如，图像分类、时间序列预测和运算符学习）上的实验结果表明，随着训练时间的增长，HyperbolicLR和ExpHyperbolicLR均能够实现比传统调度器更为一致的性能提升。这些发现表明，基于双曲的调度器为深度网络优化提供了一种更稳健和高效的方法，尤其是在受到计算资源或时间限制的情况下。