Jan, 2018

什麼訓練方法對於 GAN 的收斂效果最佳？

PDF
TL;DR本文针对 GAN 训练中绝对连续数据和生成器分布的本地收敛性已经得到证明的观点，进一步阐述了绝对连续性要求的必要性。作者证明了非绝对连续分布情况下，不稳定的 GAN 训练不一定收敛，提出了各种正则化策略用于稳定 GAN 训练，并对处于低维流形上的普通 GAN 进行了更一般的收敛性分析。
gan trainingabsolute continuityregularization strategieswasserstein-gansgradient penalties
发现论文，激发创造
  • 梯度下降 GAN 优化局部稳定

    本文分析了生成对抗网络（GANs）的优化问题，通过引入正则化方法提高训练速度和稳定性，并对经典 GAN 和 Wasserstein GAN 优化过程的局部渐近稳定性进行了研究。

    Jun, 2017

  • 用于训练生成对抗网络的梯度下降 - 上升的本地收敛性

    研究了使用基于核的判别器训练生成式对抗网络的梯度下降 - 上升过程，通过线性化的非线性动态系统描述方法，探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响，提出了系统收敛、振荡和发散的阶段转换点，并通过数值模拟验证了结论。

    May, 2023

  • GAN 的平滑性和稳定性

    本文提出了一种理论框架，可以理解各种类型的生成对抗网络（GANs）的稳定性，并采用凸分析、最优传输和再现核等工具构建了一种可以同时满足这些条件的 GAN，解释并澄清了现有 GAN 稳定技术的必要性。

    Feb, 2020

  • 提高生成对抗网络的泛化能力和稳定性

    本文通过分析实际情景下 GAN 的泛化能力，证明了原始 GAN 的损失函数训练得到的鉴别器的泛化能力较差，并提出了一种零中心梯度惩罚策略以改善鉴别器的泛化能力，并保证 GAN 的收敛和泛化。通过在合成和大规模数据集上的实验，验证了理论分析的正确性。

    Feb, 2019

  • 使用正则化最优传输训练 GAN 的收敛性和鲁棒性

    本文通过基于正则化最优传输的平滑 Wasserstein GAN 公式实现梯度信息的获取，从而实现对该目标函数的一阶优化，为一类生成对抗网络优化算法建立了理论收敛保证，且仅需要解决鉴别器问题以近似最优。该算法计算效率高，应用于 MNIST 数字以及 CIFAR-10 图像数据集相比其他同等架构和计算能力的算法生成的图像效果显著。

    Feb, 2018

  • 生成对抗网络学习分布的误差分析

    本文研究了生成对抗网络（GAN）如何从有限样本中学习概率分布，得到了 GAN 在一组 H"older 类定义的积分概率度量下的收敛速度和 Wasserstein 距离特殊情况下的学习率，并证明了当网络结构适当选择时，GAN 能够自适应地学习低维结构或具有 H"older 密度的数据分布。特别是对于集中在低维集合周围的分布，我们展示了 GAN 的学习速率不取决于高环境维度，而取决于较低的内在维度。我们的分析基于一种新的神谕不等式，将估计误差分解为生成器和鉴别器逼近误差和统计误差，这可能是具有独立研究价值的。

    May, 2021

  • 改进 Wasserstein GAN 的训练：一致性损失及其双重效应

    本文提出了一种创新的方法来强制实现 WGAN 的训练过程中的 Lipschitz 连续性，并与最近的半监督学习方法之一进行了无缝连接，导致不仅产生比以前方法更好的照片真实样本，而且还出现了最新的半监督学习结果，其中我们的方法在仅使用 1,000 个 CIFAR-10 图像时产生了超过 5.0 的 Inception 分数，并且在仅使用 4,000 个标记图像的情况下超过 90％的 CIFAR-10 数据集的精度，是我们所知道的第一个实现此结果的方法。

    Mar, 2018

  • 改进的 Wasserstein GANs 训练

    提出了一种比传统的 WGAN 更好的 GAN 训练方法，使用正则化替代权重截取，通过惩罚评判器对其输入梯度的范数，可以实现各种 GAN 结构的稳定训练和高质量生成。

    Mar, 2017

  • 通过双时间尺度更新规则训练的 GAN 收敛于局部纳什均衡

    本文提出一种基于二次尺度更新规则的 GAN 训练方法，使用随机逼近理论证明其可以收敛于本地 Nash 均衡点，并且在图像生成方面的表现优于传统 GAN 算法，同时提出了一种新的用于评估 GAN 生成图像质量的指标 Fr\'echet Inception Distance。

    Jun, 2017

  • 生成对抗网络中的泛化和均衡

    通过对生成对抗网络的训练，我们发现它可能没有良好的泛化特性，并且展示了训练成功不代表训练的分布接近目标分布，但是泛化确实存在于弱度量的神经网络距离中。我们证明了当生成器容量和训练集大小适中时，鉴别器 / 生成器博弈存在近似的纯平衡，这启发了 MIX+GAN 协议的存在可以与任何现有的 GAN 训练相结合，并在实践中改善了其中一些。

    Mar, 2017