最大似然和基于 GAN 的训练 Real NVPs 的比较

May, 2017

最大似然和基于 GAN 的训练 Real NVPs 的比较

Comparison of Maximum Likelihood and GAN-based training of Real NVPs

Ivo Danihelka, Balaji Lakshminarayanan, Benigno Uria, Daan Wierstra, Peter Dayan

TL;DR本文通过最大似然法和 Wasserstein GAN 训练了一个生成器，通过相关样本、概率密度和 Wasserstein 距离的比较表明，独立的评论家在验证集和生成分布之间估算 Wasserstein 距离可以帮助检测过度拟合。最后，本文采用一次学习文献中的思想，开发了一个新的快速学习评论家。

Abstract

We train a generator by maximum likelihood and we also train the same generator architecture by wasserstein gan. We then compare the generated samples, exact log-probability densities and approximate Wasserstein

maximum likelihood wasserstein gan overfitting one-shot learning fast learning critic

发现论文，激发创造

WGANs 估计 Wasserstein 度量的表现如何？

本文研究生成对抗网络中用于逼近 Wasserstein 度量的方法，考虑到 $c$-transformation 的使用可以更精确地估计真实的 Wasserstein 度量，但在生成模型方面，$c$-transformation 不是表现最好的方法。

Oct, 2019

改进的 Wasserstein GANs 训练

提出了一种比传统的 WGAN 更好的 GAN 训练方法，使用正则化替代权重截取，通过惩罚评判器对其输入梯度的范数，可以实现各种 GAN 结构的稳定训练和高质量生成。

Mar, 2017

使用单向流进行对抗性似然估计

生成对抗网络（GANs）可以生成高质量的样本，但不能提供样本周围的概率密度估计。本文通过最大化 log-likelihood 来建议改进分区函数的无偏估计方法，同时最大化生成器熵以提供更好的模式覆盖，利用一种新型的流网络 —— 单向流网络来计算生成样本的密度，从而设计出分区函数的无偏估计方法，并在实验中验证了该方法的快速收敛性、与相似结构 GANs 相当的样本质量、成功避免过度拟合常见数据集以及产生平滑的低维潜在数据表示。

Jul, 2023

Banach Wasserstein GAN

本研究探索了 Wasserstein 生成对抗网络在巴拿赫空间中引入梯度惩罚后的理论扩展和一些具体选择的基础点，重点关注 Sobolev 范数，并在 CIFAR-10 和 CelebA 中展示了性能提升。

Jun, 2018

使用切片瓦瑟斯坦距离进行生成建模

本篇论文提出了一种基于随机投影的生成模型，该模型较传统的 GAN 模型更加稳定和精确，采用的 Wasserstein 距离作为度量计算生成样本的真实性，可以得到更准确的生成结果。

Mar, 2018

基于 Wasserstein GAN 的人脸超分辨率

本文比较了在单幅图像超分辨率上使用 Wasserstein 距离和其他训练目标时，各种 GAN 架构的表现，结果表明，带梯度惩罚的 Wasserstein GAN（WGAN-GP）提供了稳定且收敛的 GAN 训练，Wasserstein 距离是衡量训练进展的有效指标。

May, 2017

基于 Wasserstein 的普通生成对抗网络

生成对抗网络（GANs）和 Wasserstein GANs 之间的关系及其在概率分布估计中的应用进行研究，其中重点研究了维数降低特性、Oracle 不等式和 Lipschitz 函数的近似收敛性。

Mar, 2024

从 GAN 到 WGAN

本论文介绍了生成对抗网络（GAN）模型的数学原理及其训练难度，引入了 Wasserstein GAN，采用一种平滑的度量方法来度量两个概率分布之间的距离，以提高 GAN 的训练效果。

Apr, 2019

GAN 的判别器可近似性意味着多样性

本文研究发现，通过针对特定生成器选择具有强鉴别能力的鉴别器以学习 Wasserstein 距离下（或者在很多情况下是 KL 散度下）的分布，一定能以多项式复杂度学习，从而解决了 GANs 过于简单导致模式严重缺失的问题。

Jun, 2018

生成对抗网络学习分布的误差分析

本文研究了生成对抗网络（GAN）如何从有限样本中学习概率分布，得到了 GAN 在一组 H"older 类定义的积分概率度量下的收敛速度和 Wasserstein 距离特殊情况下的学习率，并证明了当网络结构适当选择时，GAN 能够自适应地学习低维结构或具有 H"older 密度的数据分布。特别是对于集中在低维集合周围的分布，我们展示了 GAN 的学习速率不取决于高环境维度，而取决于较低的内在维度。我们的分析基于一种新的神谕不等式，将估计误差分解为生成器和鉴别器逼近误差和统计误差，这可能是具有独立研究价值的。

May, 2021