本文探讨了机器学习算法中元参数（即超参数）优化的挑战，这是一个影响训练效率和模型性能的关键因素。为了摆脱传统元参数搜索方法的高计算成本，我们引入了 MetaOptimize 框架，该框架可以在训练过程中动态调整元参数，特别是步长（也称为学习率）。更具体地说，MetaOptimize 可以围绕任何一阶优化算法进行封装，通过对未来损失的折扣总和来调整步长，以最小化特定形式的遗憾，该遗憾考虑了步长对训练的长期影响。我们还引入了 MetaOptimize 的低复杂度变体，这些变体与其对多种优化算法的适应性相结合，证明了其在各种机器学习应用中与最佳手工制作的学习率调度方案相比具有竞争力的性能。