我们开发了一个用于非平稳环境下统计学习的通用框架。在每个时间段内，我们的方法应用稳定性原则来选择一个回溯窗口，该窗口最大限度地利用历史数据，同时将累积偏差保持在相对于随机误差的可接受范围内。我们的理论和数值实验展示了这种方法对未知非平稳性的适应性。我们证明了当总体损失是强凸的或仅是Lipschitz连续时，遗憾界是最小最大意义下最优的，最多相差对数因子。我们分析的核心在于两个新颖的组成部分：函数相似性度量和将非平稳数据序列分割成准平稳片段的分割技术。