最优输运和生成模型的几何视角
本文介绍了一种新的基于生成对抗网络的优化输运模型,使用 $2$-Wasserstein 距离度量判别器的目标函数,证明了在训练期间,生成器沿着初始和目标分布之间的 $W_2$- 测地线走,最终重现出最优映射,在低维和高维连续设置中进行验证,并证明其在图像数据上的性能优于以前的方法。
Jun, 2019
本文提出了一种新的、原则性的方法来从样本中学习两个分布之间的最优传输,学习方法基于最优传输理论并涉及解决一个新的极小极大优化问题,通过最优 Kantorovich 势量级诱导最优传输映射,借鉴最近在输入凸型神经网络领域的进展,提出了一个新的框架,其中一个凸函数的梯度表示最优传输映射。数值实验表明,我们学习到了最优传输映射,这一方法确保我们发现的传输映射独立于神经网络的初始化方式。而且,由于凸函数的梯度自然地模拟了不连续的传输映射,因此可以轻松捕捉具有不连续支持的目标分布。
Aug, 2019
本文以优化传输问题为基础,研究了无监督生成建模,并使用惩罚最优传输(POT)目标来有效地最小化该问题。作者发现,AAE 中的目标与 POT for the 2-Wasserstein distance 相同,并与其他流行技术如 VAE 进行了比较。作者的理论结果包括更好地理解 VAEs 生成图像的模糊度以及建立 Wasserstein GAN 和 POT for the 1-Wasserstein distance 之间的对偶关系。
May, 2017
本文通过基于正则化最优传输的平滑 Wasserstein GAN 公式实现梯度信息的获取,从而实现对该目标函数的一阶优化,为一类生成对抗网络优化算法建立了理论收敛保证,且仅需要解决鉴别器问题以近似最优。该算法计算效率高,应用于 MNIST 数字以及 CIFAR-10 图像数据集相比其他同等架构和计算能力的算法生成的图像效果显著。
Feb, 2018
该研究简述了 Variational Autoencoders(VAE)、Generative Adversarial Networks(GAN)和 Minimum Kantorovitch Estimators(MKE)三者之间的联系及其研究领域。
Jun, 2017
通过鉴别器优化过程,我们在一类广义生成对抗网络中证明,鉴别器训练过程增加了 $p$ 与 $p_G$ 之间 Wasserstein 距离的双重代价函数下界,这意味着训练后的鉴别器可以近似从 $p_G$ 到 $p$ 的最优传输方案。基于一些实验和一点 OT 理论,我们提出了一个判别器最优传输方案(DOT)来改善所生成的图像。我们证明它可以提高 Inception 分数和由 CIFAR-10,STL-10 和 ImageNet 的公共预训练条件 GAN 训练的 FID 计算得出的非条件 GAN 的生成质量。
Oct, 2019
本文提出了一种通过优化转移距离来学习捕捉数据时间空间关系的紧凑(低维)表示,与此同时通过 Wasserstein GANs 和分类器连接的新框架产生对比学习的负分布,结果在人类动作识别任务中表现良好。
Jul, 2020
该研究使用算法传输成本的期望 Wasserstein 距离得到了学习算法泛化误差的上界,为通过最优传输视图研究学习算法的泛化提供了新途径并对损失函数施加了较少的限制,并通过总变差距离、相对熵和 VC 维度提供了几个其他的算法传输成本的上界,最后基于我们的建立的框架,我们分析了深度学习中的泛化误差并得出了结论:深度神经网络中的泛化误差随着层数的增加而指数级下降。
Nov, 2018