Mar, 2021

Wasserstein GANs 的工作原因在于它们未能逼近 Wasserstein 距离

PDF
TL;DR我们对 Wasserstein GANs 进行了深入的数学分析，发现 WGAN 损失并不是 Wasserstein 距离的一个有意义的近似，而且 Wasserstein 距离对深度生成模型而言不是一个理想的损失函数，Wasserstein GANs 之所以成功，实际上是由于对 Wasserstein 距离的近似失败所致。
wasserstein ganswasserstein distanceloss functiondeep generative modelsapproximation
发现论文，激发创造
  • 基于 Wasserstein GAN 的人脸超分辨率

    本文比较了在单幅图像超分辨率上使用 Wasserstein 距离和其他训练目标时，各种 GAN 架构的表现，结果表明，带梯度惩罚的 Wasserstein GAN（WGAN-GP）提供了稳定且收敛的 GAN 训练，Wasserstein 距离是衡量训练进展的有效指标。

    May, 2017

  • Banach Wasserstein GAN

    本研究探索了 Wasserstein 生成对抗网络在巴拿赫空间中引入梯度惩罚后的理论扩展和一些具体选择的基础点，重点关注 Sobolev 范数，并在 CIFAR-10 和 CelebA 中展示了性能提升。

    Jun, 2018

  • 基于 Wasserstein 的普通生成对抗网络

    生成对抗网络（GANs）和 Wasserstein GANs 之间的关系及其在概率分布估计中的应用进行研究，其中重点研究了维数降低特性、Oracle 不等式和 Lipschitz 函数的近似收敛性。

    Mar, 2024

  • 使用切片瓦瑟斯坦距离进行生成建模

    本篇论文提出了一种基于随机投影的生成模型，该模型较传统的 GAN 模型更加稳定和精确，采用的 Wasserstein 距离作为度量计算生成样本的真实性，可以得到更准确的生成结果。

    Mar, 2018

  • 从 GAN 到 WGAN

    本论文介绍了生成对抗网络（GAN）模型的数学原理及其训练难度，引入了 Wasserstein GAN，采用一种平滑的度量方法来度量两个概率分布之间的距离，以提高 GAN 的训练效果。

    Apr, 2019

  • WGANs 估计 Wasserstein 度量的表现如何？

    本文研究生成对抗网络中用于逼近 Wasserstein 度量的方法，考虑到 $c$-transformation 的使用可以更精确地估计真实的 Wasserstein 度量，但在生成模型方面，$c$-transformation 不是表现最好的方法。

    Oct, 2019

  • GAN 中 Wasserstein 距离的广义实现

    本文针对 Wasserstein GAN 在现实中实现的不足，提出了一种更加松弛的 Sobolev 对偶方法，使得优化中的 Lipschitz 约束不再强制，该方法被命名为 Sobolev Wasserstein GAN（SWGAN），实验表明其优于传统方法。

    Dec, 2020

  • Wasserstein GAN

    介绍了一种名为 WGAN 的新算法，可以提高学习的稳定性，解决 GAN 训练中的问题，提供有用的学习曲线进行调试和超参数搜索，并提供相关的理论工作，强调了与其他分布之间的深层次联系。

    Jan, 2017

  • 松弛瓦石均衡及其在 GAN 中的应用

    本文提出了一种新的 Relaxed Wasserstein（RW）距离，通过广义化 Wasserstein-1 距离与 BregmanCost 函数，其所得到的 RW 距离具有良好的统计性能，同时不牺牲计算可行性，与 GANs 框架结合，我们开发了 Relaxed WGANs（RWGANs），在使用启发式方法进行近似的同时不仅在统计上具有灵活性，而且在现实图像上的实验表明，在使用 KL 代价函数下，RWGAN 优于其他竞争方法，例如 WGAN，即使使用梯度惩罚。

    May, 2017

  • 在 $f$-GANs 和 Wasserstein GANs 之间架起桥梁

    本文提出了一种称为 KL-Wasserstein GAN 的新的生成对抗网络目标函数，这种方法基于 $f$-GANs 和 Wasserstein GANs 的批评家目标的推广，取得了在 CIFAR10 图像生成方面的新的最优成果。

    Oct, 2019