关于 GAN 动态中一阶逼近的限制

ICMLJun, 2017

On the Limitations of First-Order Approximation in GAN Dynamics

Jerry Li, Aleksander Madry, John Peebles, Ludwig Schmidt

TL;DR本文研究生成对抗网络中的学习动态，通过对简单但富有挑战性收敛行为 (如梯度消失、模式崩溃、发散或振荡) 的参数模型进行理论分析和实践研究，发现使用一阶判别器步骤是导致 GAN 训练具有挑战性的因素之一。

Abstract

While generative adversarial networks (GANs) have demonstrated promising performance on multiple vision tasks, their learning dynamics are not yet well understood, both in theory and in practice. To address this

generative adversarial networks learning dynamics convergence behaviors mode collapse discriminator

发现论文，激发创造

生成对抗网络的收敛性和稳定性

本次论文研究了使用后悔最小化的方式来训练 GAN，提出了在非凸偏好游戏中存在不良局部均衡的假设，并提出了 DRAGAN 梯度惩罚方案以避免产生收缩现象，这样可以实现更快速的训练，更少的模式崩溃以及更好的建模性能。

May, 2017

梯度下降 GAN 优化局部稳定

本文分析了生成对抗网络（GANs）的优化问题，通过引入正则化方法提高训练速度和稳定性，并对经典 GAN 和 Wasserstein GAN 优化过程的局部渐近稳定性进行了研究。

Jun, 2017

GAN 的平滑性和稳定性

本文提出了一种理论框架，可以理解各种类型的生成对抗网络（GANs）的稳定性，并采用凸分析、最优传输和再现核等工具构建了一种可以同时满足这些条件的 GAN，解释并澄清了现有 GAN 稳定技术的必要性。

Feb, 2020

用于训练生成对抗网络的梯度下降 - 上升的本地收敛性

研究了使用基于核的判别器训练生成式对抗网络的梯度下降 - 上升过程，通过线性化的非线性动态系统描述方法，探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响，提出了系统收敛、振荡和发散的阶段转换点，并通过数值模拟验证了结论。

May, 2023

通过解非线性方程训练生成对抗网络

通过研究由 GAN 训练引起的连续时间动力学，我们验证了基于 ODE 求解器的方法（如 Runge-Kutta），结合控制积分误差的正则化器，可以稳定训练 GAN，这一方法胜过先前的一些强基线方法。

Oct, 2020

生成对抗网络（GANs）的收敛问题

本文旨在为数学家提供适用的 GANs 理论解释，概述 GANs 的训练问题和拓扑学和博弈论视角如何贡献于我们理解和实践 GANs 的技术的正面和反面结果。

Jun, 2018

一阶生成对抗网络

通过引入理论框架，提出一种新的离散度量，使得生成对抗网能够做到更新方向为最陡下降方向，从而在图像生成和语言生成领域取得了最新的研究成果。

Feb, 2018

双重 GANs

本文提出了一种名为 ' 双重生成对抗网络 ' 的方法，通过对判别器进行对偶操作，使其与生成器协同工作，来解决生成对抗网络训练中的不稳定性问题。同时，针对线性和非线性鉴别器，提出了相应的解决方案。

Jun, 2017

生成对抗学习的逼近与收敛特性

本文研究了生成对抗网络在逼近目标分布时的两个基本问题：限制鉴别器家族对近似质量的影响和不同目标函数的收敛条件与分布收敛之间的关系。定义了对抗分歧的概念，证明了使用受限制的鉴别器家族具有矩匹配效应，并且对于严格对抗性分歧的目标函数，证明了目标函数上的收敛蕴含着弱收敛。

May, 2017

GAN 的在线自适应课程学习

提出了一种基于多个鉴别器网络来训练生成器的创新框架，通过更新分配给每个判别器的混合权重来反映生成器的进展情况，实验结果表明能够通过学习曲线来提高样本的质量和多样性。

Jul, 2018