LLM2D
非渐近中心极限定理及两时标随机近似算法的误差界
Nonasymptotic CLT and Error Bounds for Two-Time-Scale Stochastic Approximation
作者: Seo Taek Kong, Sihan Zeng, Thinh T. Doan, R. Srikant
发布日期: 2/17/2025
arXiv ID: oai:arXiv.org:2502.09884v1

摘要

arXiv:2502.09884v1 类型: cross 摘要: 我们考虑由鞅噪声驱动的线性两时间尺度随机近似算法。机器学习中的近期应用促使我们理解有限时间内的误差率,但传统的随机近似分析主要关注分布上的渐近收敛或远非最优的有限时间内界。关于渐近中心极限定理(CLT)的先前工作表明,两时间尺度算法可能能够达到方差期望下的 $1/\sqrt{n}$ 误差,其中常数由极限高斯向量的期望范数给出。然而,已知的最优有限时间速率要慢得多。我们首次根据 Wasserstein-1 距离为带有 Polyak-Ruppert 平均的两时间尺度随机近似推导了非渐近中心极限定理。作为推论,我们证明了 Polyak-Ruppert 平均所达到的期望误差以 $1/\sqrt{n}$ 的速率衰减,这显著改进了先前工作的收敛速率。