Jun, 2019

生成对抗网络优化空间的深入探究

PDF
TL;DR本研究通过新的可视化技术研究了 GAN 优化景观，并从理论和实践的角度对 GAN 的训练进行了实证研究，发现 GAN 在训练过程中会显著旋转，并最终收敛于一个稳定的马鞍点而非最小值。
generative adversarial networksvisualization techniquesoptimization landscapestrainstationary points
发现论文，激发创造
  • 生成网络的潜空间优化

    本文介绍了生成对抗网络的成功因素，并提出 “生成潜在优化” 框架来训练深度卷积生成器，实现了可视化合成、样本插值等功能，同时不需要对抗优化方案。

    Jul, 2017

  • 生成对抗网络的变分不等式视角

    本文提出一种将 GAN 优化问题转化为广义变分不等式的方法，并借鉴数学规划方法，通过平均，外推以及过往外推等方法，扩展了变分不等式优化技术用于 GAN 的训练。

    Feb, 2018

  • 梯度下降 GAN 优化局部稳定

    本文分析了生成对抗网络（GANs）的优化问题，通过引入正则化方法提高训练速度和稳定性，并对经典 GAN 和 Wasserstein GAN 优化过程的局部渐近稳定性进行了研究。

    Jun, 2017

  • 用于训练生成对抗网络的梯度下降 - 上升的本地收敛性

    研究了使用基于核的判别器训练生成式对抗网络的梯度下降 - 上升过程，通过线性化的非线性动态系统描述方法，探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响，提出了系统收敛、振荡和发散的阶段转换点，并通过数值模拟验证了结论。

    May, 2023

  • GAN 的平滑性和稳定性

    本文提出了一种理论框架，可以理解各种类型的生成对抗网络（GANs）的稳定性，并采用凸分析、最优传输和再现核等工具构建了一种可以同时满足这些条件的 GAN，解释并澄清了现有 GAN 稳定技术的必要性。

    Feb, 2020

  • 通过原始 - 对偶次梯度方法训练生成对抗网络：从拉格朗日视角看 GAN

    本研究将生成式对抗网络的 minimax 博弈与一个凸优化问题中的 Lagrangian 函数的鞍点联系起来，并展示了标准 GAN 训练过程和凸优化的原始 - 对偶次梯度方法之间的联系。此外，本研究提出了一种新的目标函数来训练模型，以解决模式塌陷和生成多样化的问题。实验结果显示了该方法的有效性。

    Feb, 2018

  • 提高生成对抗网络的泛化能力和稳定性

    本文通过分析实际情景下 GAN 的泛化能力，证明了原始 GAN 的损失函数训练得到的鉴别器的泛化能力较差，并提出了一种零中心梯度惩罚策略以改善鉴别器的泛化能力，并保证 GAN 的收敛和泛化。通过在合成和大规模数据集上的实验，验证了理论分析的正确性。

    Feb, 2019

  • 理解 GANs: LQG 设置

    本文研究了生成对抗网络在高维高斯数据下的建模、鲁棒性以及泛化能力，并提出了一种能快速推广、拥有全局稳定性的 GAN 结构模型，最终利用模型设计实现了 GAN 在复杂数据下的应用。

    Oct, 2017

  • 生成对抗网络综述：变种、应用与训练

    本文综述了生成模型的最新应用 —— 生成对抗网络（GAN）及其在计算机视觉和机器学习领域的实际应用，讨论了 GAN 训练中的困难和障碍，并调查了不同研究者提出的训练方案，以求实现 GAN 的稳定训练，最后探讨了与该主题相关的新问题和研究方向。

    Jun, 2020

  • 生成对抗网络的 “可操控性

    该论文研究了生成模型的视觉泛移能力，发现虽然目前的生成对抗网络（GAN）可以很好地拟合标准数据集，但它们仍然没有成为视觉流形的全面模型。同时，研究者还发现这些模型反映了训练数据集的偏差，并提出了一些缓解问题的技术。

    Jul, 2019