Oct, 2019

鉴别器最优输运

PDF
TL;DR通过鉴别器优化过程，我们在一类广义生成对抗网络中证明，鉴别器训练过程增加了 $p$ 与 $p_G$ 之间 Wasserstein 距离的双重代价函数下界，这意味着训练后的鉴别器可以近似从 $p_G$ 到 $p$ 的最优传输方案。基于一些实验和一点 OT 理论，我们提出了一个判别器最优传输方案（DOT）来改善所生成的图像。我们证明它可以提高 Inception 分数和由 CIFAR-10，STL-10 和 ImageNet 的公共预训练条件 GAN 训练的 FID 计算得出的非条件 GAN 的生成质量。
generative adversarial networkswasserstein distanceoptimal transportinception scorefid
发现论文，激发创造
  • 应用最优输运改进 GANs

    本文介绍了新兴的生成对抗网络 -- 优化输运生成对抗网络，提升了图像生成模型的稳定性和生成效果，主要特点是利用 adversarially learned feature space 来定义 mini-batch energy distance 度量优化目标，在多个经典 image generation benchmark test 中达到了最好的性能表现。

    Mar, 2018

  • 对抗计算最优输运映射

    本文介绍了一种新的基于生成对抗网络的优化输运模型，使用 $2$-Wasserstein 距离度量判别器的目标函数，证明了在训练期间，生成器沿着初始和目标分布之间的 $W_2$- 测地线走，最终重现出最优映射，在低维和高维连续设置中进行验证，并证明其在图像数据上的性能优于以前的方法。

    Jun, 2019

  • 使用正则化最优传输训练 GAN 的收敛性和鲁棒性

    本文通过基于正则化最优传输的平滑 Wasserstein GAN 公式实现梯度信息的获取，从而实现对该目标函数的一阶优化，为一类生成对抗网络优化算法建立了理论收敛保证，且仅需要解决鉴别器问题以近似最优。该算法计算效率高，应用于 MNIST 数字以及 CIFAR-10 图像数据集相比其他同等架构和计算能力的算法生成的图像效果显著。

    Feb, 2018

  • 具有鲁棒性的最优输运及其在生成建模和域自适应中的应用

    本文提出了一种鲁棒性的 Optimal Transport（OT）形式，以解决数据中异常值的问题，并应用于深度学习中的 GAN 和领域适应问题，同时在实验中证明了该方法的有效性。

    Oct, 2020

  • 分析和改进基于 OT 的对抗网络

    以单一框架统一 Optimal Transport（OT）为基础的对抗方法，通过对统一框架的全面分析来阐明每个组成部分在训练动力学中的作用。我们提出了一个简单而新颖的方法，逐步改进生成分布，并逐渐与数据分布对齐。该方法在 CIFAR-10 上实现了 2.51 的 FID 得分，胜过了统一的基于 OT 的对抗方法。

    Oct, 2023

  • 最优输运映射生成建模

    该研究提出了一种使用 Optimal Transport map 直接在高维图片空间中进行生成建模的算法，并在图像恢复等任务上验证了其有效性。

    Oct, 2021

  • 通过近似最优传播改进生成模型

    我们介绍了逼近最优输运（Approximated Optimal Transport，AOT）技术，一种用于扩散式生成模型的新型训练方案。我们的方法旨在逼近并将最优输运集成到训练过程中，大大提高了扩散模型准确估计去噪器输出的能力。通过在训练中使用 AOT，我们实现了优越的图像质量和减少的采样步骤。特别是在无条件和有条件生成中，我们分别仅使用 27 个 NFE（Numerical Fourier Expansion）和 29 个 NFE，实现了 1.88 和 1.73 的 FID（Fréchet Inception Distance）分数。此外，当将 AOT 应用于指导鉴别器的训练时，在无条件和有条件生成方面，我们分别取得了 1.68 和 1.58 的新领先 FID 分数，每个模型使用 29 个 NFE。这一结果证明了 AOT 在提升扩散模型性能方面的有效性。

    Mar, 2024

  • 从最优传输到生成模型：VEGAN 食谱

    本文以优化传输问题为基础，研究了无监督生成建模，并使用惩罚最优传输（POT）目标来有效地最小化该问题。作者发现，AAE 中的目标与 POT for the 2-Wasserstein distance 相同，并与其他流行技术如 VAE 进行了比较。作者的理论结果包括更好地理解 VAEs 生成图像的模糊度以及建立 Wasserstein GAN 和 POT for the 1-Wasserstein distance 之间的对偶关系。

    May, 2017

  • 原始对偶 Wasserstein GAN

    我们引入了 Primal-Dual Wasserstein GAN 作为一种新的学习算法，用于基于最优输运问题的原始和对偶公式建立数据分布的潜在变量模型，同时通过对偶公式训练解码器实现生成模型，通过适当的正则化来保留最优批评者的性质，实现比以前的方法更好的图像生成效果。

    May, 2018

  • 通过明确的 Wasserstein 最小化，逐步半离散地训练生成网络的方法

    本文提供一种简单的过程，用于将生成网络适配成目标分布，从而实现小的 Wasserstein 距离，从而逐渐将生成器网络调整为目标分布。在 MNIST 和 Thin-8 数据的训练和测试集上，实现了良好的性能。

    Jun, 2019