May, 2021

生成对抗网络学习分布的误差分析

PDF
TL;DR本文研究了生成对抗网络（GAN）如何从有限样本中学习概率分布，得到了 GAN 在一组 H"older 类定义的积分概率度量下的收敛速度和 Wasserstein 距离特殊情况下的学习率，并证明了当网络结构适当选择时，GAN 能够自适应地学习低维结构或具有 H"older 密度的数据分布。特别是对于集中在低维集合周围的分布，我们展示了 GAN 的学习速率不取决于高环境维度，而取决于较低的内在维度。我们的分析基于一种新的神谕不等式，将估计误差分解为生成器和鉴别器逼近误差和统计误差，这可能是具有独立研究价值的。
发现论文，激发创造
  • 生成对抗网络学习分布的效果

    本论文研究了生成性对抗网络（GANs）的收敛速率和损失函数，探讨了在不同参数和非参数条件下的目标分布，都能通过 GANs 进行逼近， 建立了基于生成器和判别器的正则化理论，提出了生成器 - 判别器对正则化的新概念，为分布估计提供了有效的统计保证。

    Nov, 2018

  • 关于生成对抗模型在低内在数据维度下的统计特性

    尽管生成对抗网络（GANs）在实证方面取得了显著的成功，但其统计准确性的理论保证仍然相对悲观。本论文试图在理论和 GANs 以及双向 GANs（BiGANs）的实践之间架起桥梁，通过推导出关于估计密度的统计保证，以数据的固有维度和潜在空间为基础。

    Jan, 2024

  • 提高生成对抗网络的泛化能力和稳定性

    本文通过分析实际情景下 GAN 的泛化能力，证明了原始 GAN 的损失函数训练得到的鉴别器的泛化能力较差，并提出了一种零中心梯度惩罚策略以改善鉴别器的泛化能力，并保证 GAN 的收敛和泛化。通过在合成和大规模数据集上的实验，验证了理论分析的正确性。

    Feb, 2019

  • 生成对抗网络的误差分析

    我们研究了基于一类包含鉴别器和生成器神经网络的函数的高维分布学习模型中生成对抗网络（GAN）的误差收敛速度，并利用 Talagrand 不等式和 Borel-Cantelli 引理建立了一种紧密的误差收敛速度。

    Oct, 2023

  • 生成对抗网络能否学习密度：一种非参数方法

    本文研究了属于生成对抗网络框架下学习密度函数的收敛速度，通过借鉴非参数统计学中的思路引入了一种改进型生成对抗网络估算器，同时利用目标密度的光顺程度和度量结果，实现更快速的学习速率，并理论上解决了文献中报道的模式崩溃问题。作者还构建了最小极大下界来证明，在维数较大的情况下，新生成对抗网络估算器的速率指数是接近最优的。因此我们的结果可以以量化的方式回答生成对抗网络在多种光滑程度具有不同密度下的学习效果，并从中获得了更好的泛化界限。

    Dec, 2017

  • GANs 是否真的学习了数据分布？一项实证研究

    研究 GANS 是否可以准确学习目标分布，发现当判别器具有有限大小时，GAN 的训练目标可能无法防止模态崩溃。通过基于生日悖论的新测试方法，提供了实证证据证明当前的 GAN 方法不能完全学习目标分布的任何支持度数量的分布。

    Jun, 2017

  • 使用切片瓦瑟斯坦距离进行生成建模

    本篇论文提出了一种基于随机投影的生成模型，该模型较传统的 GAN 模型更加稳定和精确，采用的 Wasserstein 距离作为度量计算生成样本的真实性，可以得到更准确的生成结果。

    Mar, 2018

  • 隐式生成模型中的学习

    本文介绍了生成对抗网络（GANs）的算法框架，将其与隐式生成模型的学习算法相联系，提出了基于密度比估计的方法并借此引导观察者更深层次地思考生成模型。

    Oct, 2016

  • 从 GAN 到 WGAN

    本论文介绍了生成对抗网络（GAN）模型的数学原理及其训练难度，引入了 Wasserstein GAN，采用一种平滑的度量方法来度量两个概率分布之间的距离，以提高 GAN 的训练效果。

    Apr, 2019

  • 生成对抗网络中的泛化和均衡

    通过对生成对抗网络的训练，我们发现它可能没有良好的泛化特性，并且展示了训练成功不代表训练的分布接近目标分布，但是泛化确实存在于弱度量的神经网络距离中。我们证明了当生成器容量和训练集大小适中时，鉴别器 / 生成器博弈存在近似的纯平衡，这启发了 MIX+GAN 协议的存在可以与任何现有的 GAN 训练相结合，并在实践中改善了其中一些。

    Mar, 2017