摘要
arXiv:2412.14488v4 Announce Type: replace-cross
摘要:在本文中,我们考虑了一个无约束的随机优化问题,其中目标函数表现出高阶光滑性。具体地,我们提出了一种新的随机一阶方法(SFOM),其中在每次迭代中执行多次外推,并基于这些外推进行动量更新。我们展示了所提出的方法可以通过利用目标函数 \(f\) 的高阶光滑性来加速优化。假设存在某 \(p \ge 2\) 使得目标函数 \(f\) 的 \(p\) 阶导数是利普希茨连续的,并在一些其他附加温和假设下,我们建立了该方法找到一个点 \(x\),使得 \(\mathbb{E}[\|\nabla f(x)\|] \le \epsilon\) 的样本复杂度为 \(\widetilde{\mathcal{O}}(\epsilon^{-(3p+1)/p})\)。据我们所知,这是第一个利用目标函数任意阶光滑性进行加速的SFOM方法,其样本复杂度优于现有的最好结果,而无需假设均方光滑性条件。初步的数值实验验证了我们方法的实际性能,并支持了我们的理论结果。