May, 2017

GAN 的数值计算

PDF
TL;DR本研究通过分析生成对抗网络（GAN）的训练算法的数值特征，使用平滑二人博弈的形式，分析 GAN 训练目标的梯度向量场的相关性，发现当前算法的收敛性受到两个因素的影响：一是梯度向量场的雅可比矩阵存在具有零实部的特征值，二是存在具有较大虚部的特征值，提出了一种基于这些发现的新算法，克服了一些限制并具有更好的收敛性能。实验表明，该算法在训练常见的 GAN 结构上具有优越性，且可以收敛于一些已知难以训练的 GAN 结构。
generative adversarial networksconvergencealgorithmgradient vector fieldjacobian
发现论文，激发创造
  • 生成对抗网络（GANs）的收敛问题

    本文旨在为数学家提供适用的 GANs 理论解释，概述 GANs 的训练问题和拓扑学和博弈论视角如何贡献于我们理解和实践 GANs 的技术的正面和反面结果。

    Jun, 2018

  • GAN 的平滑性和稳定性

    本文提出了一种理论框架，可以理解各种类型的生成对抗网络（GANs）的稳定性，并采用凸分析、最优传输和再现核等工具构建了一种可以同时满足这些条件的 GAN，解释并澄清了现有 GAN 稳定技术的必要性。

    Feb, 2020

  • 关于生成对抗网络的一些理论性质

    本文通过分析数学和统计学特性，研究生成式对抗网络与 Jensen-Shannon 散度的深刻联系，并提供鉴别器族群的逼近论证及样本估计分布的大样本性质，特别地证明了中心极限定理。

    Mar, 2018

  • 用于训练生成对抗网络的梯度下降 - 上升的本地收敛性

    研究了使用基于核的判别器训练生成式对抗网络的梯度下降 - 上升过程，通过线性化的非线性动态系统描述方法，探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响，提出了系统收敛、振荡和发散的阶段转换点，并通过数值模拟验证了结论。

    May, 2023

  • 几何生成对抗网络

    该研究揭示了 GAN 模型的几何思想，提出了通过 SVM 分离超平面最大化间隔的几何 GAN，证明了其可以收敛到鞍点，并显示其优越的性能。

    May, 2017

  • 生成对抗网络（GAN）的数学介绍

    本文从数学角度提供了生成式对抗网络（GAN）的概述，以更习惯数学语言的学生为目标，介绍了 GAN 的数学基础、应用及技术发展。

    Sep, 2020

  • 生成对抗网络的变分不等式视角

    本文提出一种将 GAN 优化问题转化为广义变分不等式的方法，并借鉴数学规划方法，通过平均，外推以及过往外推等方法，扩展了变分不等式优化技术用于 GAN 的训练。

    Feb, 2018

  • GAN 的神经切向核透视

    本文提出了关于生成对抗网络（GANs）的分析和训练方案的新理论框架，揭示了以前分析的一个基本缺陷，解决了定义不明确的判别器梯度的问题，通过利用判别器的无限宽度神经网络理论并表征训练后的判别器以及进行各种损失的实验证明结果。

    Jun, 2021

  • 寻找生成对抗网络的混合纳什均衡

    通过无限维二人博弈的新算法框架，我们证明了混合 Nash Equilibria 上的收敛性率，最终通过简单取样程序实现了高效的算法，证明了其在速度和质量上的优越表现。

    Oct, 2018

  • 生成对抗网络综述：算法、理论和应用

    本文从算法、理论和应用三个方面综述了各种生成对抗网络（GANs）算法的动机、数学表示和结构特点，比较了不同 GANs 方法的共同性和差异，探讨了 GANs 相关的理论问题以及在图像处理、自然语言处理、医疗领域、数据科学等领域的应用，并指出了未来 GANs 的开放性研究问题。

    Jan, 2020