LLM2D
一种在非平稳性下学习的稳定性原理
A Stability Principle for Learning under Non-Stationarity
作者: Chengpiao Huang, Kaizheng Wang
发布日期: 2/13/2025
arXiv ID: oai:arXiv.org:2310.18304v4

摘要

arXiv:2310.18304v4 通知类型: 替换-交叉 摘要: 我们开发了一个灵活的框架,用于非平稳环境下的统计学习。在每个时间周期中,我们的方法应用稳定性原则来选择一个回顾窗口,以最大限度地利用历史数据,同时将累计偏差保持在可接受范围内,相对于随机误差而言。我们的理论和数值实验展示了该方法对未知非平稳性的适应性。当总体损失函数为强凸或仅Lipschitz连续时,我们证明了遗憾界是 minimax 最优的,除非是对数因子。我们分析的核心在于两个新颖的组成部分:函数之间的相似性度量和将非平稳数据序列分割为准平稳片段的技术。