LLM2D
非凸-非凹函数的最小-最大优化:随机零阶外梯度算法
Min-Max Optimisation for Nonconvex-Nonconcave Functions Using a Random Zeroth-Order Extragradient Algorithm
作者: Amir Ali Farzin, Yuen Man Pun, Philipp Braun, Antoine Lesage-landry, Youssef Diouane, Iman Shames
发布日期: 4/11/2025
arXiv ID: oai:arXiv.org:2504.07388v1

摘要

arXiv:2504.07388v1 Announce Type: cross 摘要:本研究探讨了在考虑可能具有非凸-非凹(NC-NC)目标函数的最小-最大优化问题时,随机高斯平滑零阶外梯度(ZO-EG)方案的表现。我们考虑了无约束和有约束、可微和非可微的情况。从变分不等式的视角讨论最小-最大问题。对于无约束问题,我们建立了ZO-EG算法收敛到NC-NC目标函数的$\epsilon$-稳定点的邻域,并在方差减少方案下控制其半径及其复杂性。对于有约束问题,引入新的邻近变分不等式的概念,并给出满足这一性质的函数示例。此外,我们证明了与无约束情况类似的有约束问题的结果。对于非可微情况,我们证明了ZO-EG算法收敛到平滑后目标函数的$\epsilon$-稳定点的邻域,该邻域的半径可以被控制,这可以与原始目标函数的($\delta, \epsilon$)-Goldstein稳定点相关。