Feb, 2018

使用正则化最优传输训练 GAN 的收敛性和鲁棒性

PDF
TL;DR本文通过基于正则化最优传输的平滑 Wasserstein GAN 公式实现梯度信息的获取，从而实现对该目标函数的一阶优化，为一类生成对抗网络优化算法建立了理论收敛保证，且仅需要解决鉴别器问题以近似最优。该算法计算效率高，应用于 MNIST 数字以及 CIFAR-10 图像数据集相比其他同等架构和计算能力的算法生成的图像效果显著。
generative adversarial networkswasserstein distanceoptimal transportgan optimization algorithmimage generation
发现论文，激发创造
  • 对抗计算最优输运映射

    本文介绍了一种新的基于生成对抗网络的优化输运模型，使用 $2$-Wasserstein 距离度量判别器的目标函数，证明了在训练期间，生成器沿着初始和目标分布之间的 $W_2$- 测地线走，最终重现出最优映射，在低维和高维连续设置中进行验证，并证明其在图像数据上的性能优于以前的方法。

    Jun, 2019

  • 具有鲁棒性的最优输运及其在生成建模和域自适应中的应用

    本文提出了一种鲁棒性的 Optimal Transport（OT）形式，以解决数据中异常值的问题，并应用于深度学习中的 GAN 和领域适应问题，同时在实验中证明了该方法的有效性。

    Oct, 2020

  • 应用最优输运改进 GANs

    本文介绍了新兴的生成对抗网络 -- 优化输运生成对抗网络，提升了图像生成模型的稳定性和生成效果，主要特点是利用 adversarially learned feature space 来定义 mini-batch energy distance 度量优化目标，在多个经典 image generation benchmark test 中达到了最好的性能表现。

    Mar, 2018

  • 通过明确的 Wasserstein 最小化，逐步半离散地训练生成网络的方法

    本文提供一种简单的过程，用于将生成网络适配成目标分布，从而实现小的 Wasserstein 距离，从而逐渐将生成器网络调整为目标分布。在 MNIST 和 Thin-8 数据的训练和测试集上，实现了良好的性能。

    Jun, 2019

  • 鉴别器最优输运

    通过鉴别器优化过程，我们在一类广义生成对抗网络中证明，鉴别器训练过程增加了 $p$ 与 $p_G$ 之间 Wasserstein 距离的双重代价函数下界，这意味着训练后的鉴别器可以近似从 $p_G$ 到 $p$ 的最优传输方案。基于一些实验和一点 OT 理论，我们提出了一个判别器最优传输方案（DOT）来改善所生成的图像。我们证明它可以提高 Inception 分数和由 CIFAR-10，STL-10 和 ImageNet 的公共预训练条件 GAN 训练的 FID 计算得出的非条件 GAN 的生成质量。

    Oct, 2019

  • 最优输运映射生成建模

    该研究提出了一种使用 Optimal Transport map 直接在高维图片空间中进行生成建模的算法，并在图像恢复等任务上验证了其有效性。

    Oct, 2021

  • 小批量 Wasserstein 学习：渐近和梯度特性

    本文对最优传输距离的使用进行了探索，指出在大规模数据集上计算这些距离的方法是通过平均几个较小的最优传输问题的结果。我们论证了这种方法等效于原问题的隐式正则化，并具有无偏估计，梯度和期望值周围的集中度约束等吸引人的属性。同时我们还开展了梯度流、GAN 或颜色转换等经验实验，以突出这种策略的实际价值。

    Oct, 2019

  • 使用生成对抗网络的可伸缩非平衡最优输运

    本文介绍一种基于生成对抗网络的可伸缩的非平衡优化输运方法，该方法可以同时学习输运映射和缩放因子，以最优的代价推动源测量到目标测量，并提供了理论证明和数值实验。

    Oct, 2018

  • 高斯平滑最优输运：度量结构与统计效率

    通过引入高斯平滑的方法，本文提出了一种新颖的高斯平滑最优输运（Gaussian-smoothed OT）框架，以在保持 1-Wasserstein 度量结构的同时消除了实证逼近的维数诅咒，并在实证研究中证实了其可行性和优越性，为信息科学领域中的最优输运理论和应用提供了新思路。

    Jan, 2020

  • 使用切片瓦瑟斯坦距离进行生成建模

    本篇论文提出了一种基于随机投影的生成模型，该模型较传统的 GAN 模型更加稳定和精确，采用的 Wasserstein 距离作为度量计算生成样本的真实性，可以得到更准确的生成结果。

    Mar, 2018