梯度下降GAN优化局部稳定
本文针对GAN训练中绝对连续数据和生成器分布的本地收敛性已经得到证明的观点,进一步阐述了绝对连续性要求的必要性。作者证明了非绝对连续分布情况下,不稳定的GAN训练不一定收敛,提出了各种正则化策略用于稳定GAN训练,并对处于低维流形上的普通GAN进行了更一般的收敛性分析。
Jan, 2018
本文提出了一个简单统一、非渐进的本地收敛理论,涵盖了多个离散时间梯度基点动力学,分析表明,离对角线的相互作用项具有神奇的性质,既是一件好事,也是一件坏事,对网络训练进行了四个修正动态的稳定化,揭示了这些稳定技术之间的密切联系,并提供了有关学习率选择的详细特征描述。
Feb, 2018
通过对变分不等式框架的分析,我们发现在 GAN 的基本变体 Wasserstein Linear-Quadratic GAN 中,直接梯度下降方向会导致不收敛,而特定的正交方向可以实现收敛,我们称之为“通过卷曲”,这是命名来源于其数学推导及感性:识别游戏的旋转轴并向“卷曲”更小的方向移动空间。
Aug, 2018
运用控制理论中的闭环控制方法,通过直接建模 GANs 功能空间中的动力学模型,提出了一种稳定 GANs 训练的方法,并取得了最先进的数据生成任务性能。
Sep, 2019
本文提出了一种理论框架,可以理解各种类型的生成对抗网络(GANs)的稳定性,并采用凸分析、最优传输和再现核等工具构建了一种可以同时满足这些条件的GAN,解释并澄清了现有GAN稳定技术的必要性。
Feb, 2020
本文综述了生成模型的最新应用——生成对抗网络(GAN)及其在计算机视觉和机器学习领域的实际应用,讨论了GAN训练中的困难和障碍,并调查了不同研究者提出的训练方案,以求实现GAN的稳定训练,最后探讨了与该主题相关的新问题和研究方向。
Jun, 2020
研究了一种新型的min-max优化框架,其中max-player在贪心策略下更新参数至一阶稳定点;给出了在平稳性要求下的定理证明,提出了一种利用随机梯度估计的GAN训练算法,成功地避免了模式崩溃的问题。
Jun, 2020
通过研究由GAN训练引起的连续时间动力学,我们验证了基于ODE求解器的方法(如Runge-Kutta),结合控制积分误差的正则化器,可以稳定训练GAN,这一方法胜过先前的一些强基线方法。
Oct, 2020
研究了使用基于核的判别器训练生成式对抗网络的梯度下降-上升过程,通过线性化的非线性动态系统描述方法,探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响,提出了系统收敛、振荡和发散的阶段转换点,并通过数值模拟验证了结论。
May, 2023