LLM2D
快速-缓慢协同优化器:面向生成对抗网络和谐训练的方向
Fast-Slow Co-advancing Optimizer: Toward Harmonious Adversarial Training of GAN
作者: Lin Wang, Xiancheng Wang, Rui Wang, Zhibo Zhang, Minghang Zhao
发布日期: 4/22/2025
arXiv ID: oai:arXiv.org:2504.15099v1

摘要

arXiv:2504.15099v1 优化类型: 横向 摘要: 截至目前,典型生成对抗网络(GANs)的训练过程仍然特别敏感于数据属性和超参数,这可能导致剧烈振荡、收敛困难,甚至完全无法收敛,尤其是在训练集的整体方差较大时更为明显。这些现象通常归因于此类网络的训练特性。针对这一问题,本文提出了一种新的智能优化器——快速-缓慢共同推进优化器(FSCO),它在GAN的训练过程中采用强化学习来简化训练过程。具体而言,本文通过让训练步长由智能体控制以提高训练稳定性,并通过可变的学习率使训练过程更加智能化,从而使GANs对步长的敏感度降低。已经在三个基准数据集上进行了实验,验证了所开发的FSCO的有效性。