通过明确的Wasserstein最小化，逐步半离散地训练生成网络的方法
开发了一种基于Inexact Proximal point方法的算法(IPOT)，该算法通过将投影用于概率单纯形来近似评估近端算子，以解决精确最优输运问题，并具有具有理论保证和强健的正则化参数选择，同时缓解了数值稳定性问题并避免了应用于生成模型时的收缩问题。此外，基于IPOT提出了一种新的算法，用于获得更锐利的Wasserstein重心。
Feb, 2018
本研究提出了一种基于梯度流的、无需参数的算法，用于学习复杂数据集的潜在分布和从中进行抽样。该算法是建立在隐式生成建模 (IGM) 与最优输运之间的联系理论基础上，并通过泛函优化问题的方式得以实现。通过梯度流和随机微分方程的联系，该算法既能高效地解决优化问题，还提供了理论分析和有限时间误差保证。实验结果表明，该算法能够成功地捕捉不同类型的数据分布结构。
Jun, 2018
该论文提出了一种新颖的端到端非极小算法，用于训练最优输运映射以逼近Wasserstein-2距离，并使用输入凸神经网络和循环一致性正则化来近似Wasserstein-2距离，解决了流行的熵和二次正则化中存在偏差和高维度缩放问题的不足，并在诸多任务上进行了实验评估。
Sep, 2019
本文对最优传输距离的使用进行了探索，指出在大规模数据集上计算这些距离的方法是通过平均几个较小的最优传输问题的结果。我们论证了这种方法等效于原问题的隐式正则化，并具有无偏估计，梯度和期望值周围的集中度约束等吸引人的属性。同时我们还开展了梯度流、GAN或颜色转换等经验实验，以突出这种策略的实际价值。
Oct, 2019
本文研究在适当的假设下，基于得分函数的生成模型可以最小化与真实数据分布之间的Wasserstein距离，同时说明此类模型的目标函数与生成分布和数据分布的Kullback-Leibler散度等价，并通过优化输运理论的新颖应用来证明我们的理论成果，同时通过数值实验进行支持，并提供了一些获得更紧密上限的技巧。
Dec, 2022
优化传输（Optimal Transport）近年来引发了广泛兴趣，尤其是由于Wasserstein距离的提出，该距离提供了一种几何上合理且直观的比较概率测度的方式。为了解决计算问题，引入了切片Wasserstein（SW）距离作为Wasserstein距离的替代方法，并在训练生成型神经网络（NNs）中得到应用。本文旨在弥补对于这一观察结果没有理论保证的空白，通过利用Bianchi等人（2022）关于SGD在非光滑和非凸函数上收敛性的最新工作，提供了SW loss函数对NN参数收敛的现实背景。具体而言，我们展示了随着步长的减小，这些轨迹逐渐接近（亚）梯度流方程的集合。在更严格的假设下，我们证明了一种更强的收敛结果，即轨迹的长期极限逼近损失函数的广义驻点集合。
Jul, 2023
本研究提出了一种先进的神经网络剪枝技术，通过在计算经验Fisher信息矩阵（FIM）过程中巧妙处理嘈杂的梯度。我们介绍了一种基于几何属性的熵Wasserstein回归（EWR）模型，通过采用数据点之间的邻域插值实现噪声缓解。Wasserstein距离的独特优势在于平衡噪声降低和协方差信息保留之间的关系。通过在各种网络上进行广泛实验证明，所提出的方法在网络剪枝算法中具有与先进方法相当的性能。当网络规模或目标稀疏度较大时，我们提出的方法在存在嘈杂梯度的情况下效果更为显著，可能来自嘈杂数据、模拟存储器或对抗攻击。值得注意的是，我们的方法在仅剩不到四分之一的网络参数的情况下，使MobileNetV1的准确度提高了6%，测试损失提高了8%。
Oct, 2023
本文提出了一种可扩展的基于Wasserstein梯度流的生成模型，称为Semi-dual JKO (S-JKO)，通过使用JKO步骤的半对偶形式，将训练复杂度降低至O(K)，实验证明该模型在CIFAR-10和CelebA-HQ-256数据集上取得了显著优于现有WGF模型的FID分数，与最先进的图像生成模型相当。
Feb, 2024
通过最小化二阶Wasserstein损失（即$W_2$损失），该论文处理无监督学习问题。论文证明了方式一通过分布相关的常微分方程（ODE）动力学的超限势潜力近似估计当前分布与真实数据分布之间的关系。主要结果显示ODE的时变边界概率收敛到真实数据分布。为了证明ODE具有唯一解，首先明确构造了与关联的非线性Fokker-Planck方程相关的解，并证明它与$W_2$损失的唯一梯度流相吻合。基于此，通过Trevisan的叠加原理和指数收敛结果，构建了ODE的唯一解。该论文提出了一个分布相关ODE的欧拉方案，并在极限情况下正确恢复了$W_2$损失的梯度流。通过遵循该方案和应用持久训练，设计了一个算法，其自然地适用于梯度流框架。在低维和高维实验中，我们的算法通过适当增加持久训练水平，比Wasserstein生成对抗网络收敛更快且性能更好。
Jun, 2024