May, 2017

从最优传输到生成模型：VEGAN 食谱

PDF
TL;DR本文以优化传输问题为基础，研究了无监督生成建模，并使用惩罚最优传输（POT）目标来有效地最小化该问题。作者发现，AAE 中的目标与 POT for the 2-Wasserstein distance 相同，并与其他流行技术如 VAE 进行了比较。作者的理论结果包括更好地理解 VAEs 生成图像的模糊度以及建立 Wasserstein GAN 和 POT for the 1-Wasserstein distance 之间的对偶关系。
unsupervised generative modelingoptimal transport problempenalized optimal transport objectiveadversarial auto-encoderswasserstein distance
发现论文，激发创造
  • 最优输运映射生成建模

    该研究提出了一种使用 Optimal Transport map 直接在高维图片空间中进行生成建模的算法，并在图像恢复等任务上验证了其有效性。

    Oct, 2021

  • 对抗计算最优输运映射

    本文介绍了一种新的基于生成对抗网络的优化输运模型，使用 $2$-Wasserstein 距离度量判别器的目标函数，证明了在训练期间，生成器沿着初始和目标分布之间的 $W_2$- 测地线走，最终重现出最优映射，在低维和高维连续设置中进行验证，并证明其在图像数据上的性能优于以前的方法。

    Jun, 2019

  • 生成熵神经最优传输在空间内和空间间的映射

    学习度量到度量映射是机器学习中的一项关键任务，而神经最优输运方法（Neural OT）结合了神经网络模型和最优输运理论，将最优输运作为归纳偏置，并通过实验表明其在单细胞生物学中具有实用性。

    Oct, 2023

  • 切片 - 瓦热斯坦自编码器：一种尴尬地简单的生成模型

    本文介绍了一种新的基于 Sliced-Wasserstein Autoencoders (SWAE）的生成模型，使用最优输运（Optimal Transport，OT）问题和 Wasserstein 距离。通过在自编码损失中加入 sliced-Wasserstein 距离，可以将潜在空间的分布形状成任何可取样的概率分布，同时避免了训练对抗网络或定义分布的需要。我们证明了这种方法具有类似于 Wasserstein Autoencoders （WAE）和 Variational Autoencoders（VAE）的能力，而且实现简单高效。

    Apr, 2018

  • 鉴别器最优输运

    通过鉴别器优化过程，我们在一类广义生成对抗网络中证明，鉴别器训练过程增加了 $p$ 与 $p_G$ 之间 Wasserstein 距离的双重代价函数下界，这意味着训练后的鉴别器可以近似从 $p_G$ 到 $p$ 的最优传输方案。基于一些实验和一点 OT 理论，我们提出了一个判别器最优传输方案（DOT）来改善所生成的图像。我们证明它可以提高 Inception 分数和由 CIFAR-10，STL-10 和 ImageNet 的公共预训练条件 GAN 训练的 FID 计算得出的非条件 GAN 的生成质量。

    Oct, 2019

  • 应用最优输运改进 GANs

    本文介绍了新兴的生成对抗网络 -- 优化输运生成对抗网络，提升了图像生成模型的稳定性和生成效果，主要特点是利用 adversarially learned feature space 来定义 mini-batch energy distance 度量优化目标，在多个经典 image generation benchmark test 中达到了最好的性能表现。

    Mar, 2018

  • 原始对偶 Wasserstein GAN

    我们引入了 Primal-Dual Wasserstein GAN 作为一种新的学习算法，用于基于最优输运问题的原始和对偶公式建立数据分布的潜在变量模型，同时通过对偶公式训练解码器实现生成模型，通过适当的正则化来保留最优批评者的性质，实现比以前的方法更好的图像生成效果。

    May, 2018

  • 从最优输运的角度看 GAN 和 VAE

    该研究简述了 Variational Autoencoders（VAE）、Generative Adversarial Networks（GAN）和 Minimum Kantorovitch Estimators（MKE）三者之间的联系及其研究领域。

    Jun, 2017

  • 具有鲁棒性的最优输运及其在生成建模和域自适应中的应用

    本文提出了一种鲁棒性的 Optimal Transport（OT）形式，以解决数据中异常值的问题，并应用于深度学习中的 GAN 和领域适应问题，同时在实验中证明了该方法的有效性。

    Oct, 2020

  • 基于惩罚性最优传递网络的数据表生成建模

    通过提供理论和实证的证据，我们的研究提出了一种名为 POTNet 的生成深度神经网络，它基于一个新颖、稳健、可解释的边际惩罚 Wasserstein 损失函数（MPW）来有效地建模包含类别和连续特征的表格数据，并能在子特征集合上进行条件建模，从而实现了在大规模合成数据生成过程中与最先进的生成模型相比数个数量级的加速。

    Feb, 2024