利用分割 - 瓦磨斯坦距离学习生成模型的渐进保证
本篇论文提出了一种基于随机投影的生成模型,该模型较传统的GAN模型更加稳定和精确,采用的Wasserstein距离作为度量计算生成样本的真实性,可以得到更准确的生成结果。
Mar, 2018
本文介绍了一种新的基于 Sliced-Wasserstein Autoencoders (SWAE)的生成模型,使用最优输运(Optimal Transport,OT)问题和Wasserstein距离。通过在自编码损失中加入 sliced-Wasserstein 距离,可以将潜在空间的分布形状成任何可取样的概率分布,同时避免了训练对抗网络或定义分布的需要。我们证明了这种方法具有类似于Wasserstein Autoencoders (WAE)和Variational Autoencoders(VAE)的能力,而且实现简单高效。
Apr, 2018
使用广义Radon变换定义了一类新的概率测度距离,称为广义sliced-Wasserstein(GSW)距离,并给出GSW和max-GSW距离是否为距离的条件;并在几个生成建模任务中比较了所提出距离的数值性能。
Feb, 2019
本文介绍了切片Wasserstein距离的一种新变体,并研究了在Wasserstein距离的蒙特卡罗估计中使用正交耦合的方法,并与分层抽样建立了联系,并在生成建模和强化学习的大规模实验中进行了性能评估。
Mar, 2019
该论文介绍了一种新的方法,使用少量参数化正交投影来近似分解高维分布的一维边际分布,以便于在生成式框架中实现深度学习。研究表明,该方法在标准图像综合基准和高分辨率图像和视频生成方面表现出优越性和最先进性。
Apr, 2019
本文提供一种简单的过程,用于将生成网络适配成目标分布,从而实现小的Wasserstein距离,从而逐渐将生成器网络调整为目标分布。在MNIST和Thin-8数据的训练和测试集上,实现了良好的性能。
Jun, 2019
本文提出了一种新的距离度量方法,名为Distributional Sliced-Wasserstein distance(DSW),其通过寻找在单位球上的一组满足特定正则化约束条件的概率测度来计算,能够平衡探索鲜明的投射方向和投射本身信息的信息量,该方法在生成建模应用中比先前的基于切片的距离具有更好的性能。
Feb, 2020
通过利用测度集中现象,我们基于高维随机向量的一维投影近似Sliced-Wasserstein距离,避免了通常需要的蒙特卡罗模拟,这一方法简单精确,用于生成模型问题效果显著。
Jun, 2021
本文研究在适当的假设下,基于得分函数的生成模型可以最小化与真实数据分布之间的Wasserstein距离,同时说明此类模型的目标函数与生成分布和数据分布的Kullback-Leibler散度等价,并通过优化输运理论的新颖应用来证明我们的理论成果,同时通过数值实验进行支持,并提供了一些获得更紧密上限的技巧。
Dec, 2022
优化传输(Optimal Transport)近年来引发了广泛兴趣,尤其是由于Wasserstein距离的提出,该距离提供了一种几何上合理且直观的比较概率测度的方式。为了解决计算问题,引入了切片Wasserstein(SW)距离作为Wasserstein距离的替代方法,并在训练生成型神经网络(NNs)中得到应用。本文旨在弥补对于这一观察结果没有理论保证的空白,通过利用Bianchi等人(2022)关于SGD在非光滑和非凸函数上收敛性的最新工作,提供了SW loss函数对NN参数收敛的现实背景。具体而言,我们展示了随着步长的减小,这些轨迹逐渐接近(亚)梯度流方程的集合。在更严格的假设下,我们证明了一种更强的收敛结果,即轨迹的长期极限逼近损失函数的广义驻点集合。
Jul, 2023