变分 Wasserstein 梯度流

Dec, 2021

Variational Wasserstein gradient flow

Jiaojiao Fan, Qinsheng Zhang, Amirhossein Taghvaei, Yongxin Chen

TL;DR本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法，该方法利用了内部批量样本更新，实现了良好定义和有意义的目标函数下的梯度流构造，并在合成和真实高维数据集的实验中展示了其性能和可扩展性。

Abstract

wasserstein gradient flow has emerged as a promising approach to solve optimization problems over the space of probability distributions. A recent trend is to use the well-known jko scheme in combination with inp

wasserstein gradient flow jko scheme input convex neural networks variational formulation empirical distributions

发现论文，激发创造

大规模 Wasserstein 梯度流

本研究介绍了一种基于输入凸神经网络的渐进 Wasserstein 流逼近方法，无需领域离散化或粒子模拟，可用于机器学习应用，例如非线性滤波。

Jun, 2021

变分推断中的变分参数空间上的 Wasserstein 梯度流

Variational inference (变分推断) can be optimized using Wasserstein gradient descent methods to improve efficiency and alignment of variational parameters with the true posterior.

Oct, 2023

通过 Wasserstein 空间中的近端梯度下降实现基于流的生成模型的收敛

通过使用渐进流模型 JKO 流模型，在生成数据方面提供了理论保证，证明了其数据生成能力的 KL 保证在一些条件下的收敛速度为 O (ε^2)。

Oct, 2023

变分 Wasserstein 问题的平滑双重方法

该研究通过引入熵平滑，将 Carlier 等人（2014）所提出的 Wasserstein 变分问题的对偶式正则化，从而处理了涉及 Wasserstein 距离的计算问题，得到了更容易实现和数值更稳定的优化问题，应用于计算 Wasserstein 重心和空间规则化函数的梯度流。

Mar, 2015

变分推理与 Wasserstein 梯度流之间的桥梁

本文介绍了变分推断和 Wasserstein 梯度流之间的联系，通过将 Bures-Wasserstein 梯度流转化为欧几里德梯度流，并使用路径导数梯度估计器生成梯度场，同时提供了一种新的梯度估计方法适用于 $f$-divergences 的拓展。

Oct, 2023

使用输入凸神经网络来优化概率空间上的泛函

该研究使用输入凸神经网络来近似 JKO 方案，并在控制分子生成试验中实验验证其可行性和有效性。

Jun, 2021

论 Stein 变分梯度下降的几何形式

本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

Dec, 2019

基于粒子的广义 Wasserstein 梯度流的变分推理

该论文介绍了一种称为广义 Wasserstein 梯度下降（GWG）的粒子变分推断方法框架，基于 KL 散度的广义 Wasserstein 梯度流，可视为具有更广泛正则化器类的函数梯度方法，展示了 GWG 具有强大的收敛性保证，通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。

Oct, 2023

可扩展的 Wasserstein 梯度流用于非平衡最优传输的生成建模

本文提出了一种可扩展的基于 Wasserstein 梯度流的生成模型，称为 Semi-dual JKO (S-JKO)，通过使用 JKO 步骤的半对偶形式，将训练复杂度降低至 O (K)，实验证明该模型在 CIFAR-10 和 CelebA-HQ-256 数据集上取得了显著优于现有 WGF 模型的 FID 分数，与最先进的图像生成模型相当。

Feb, 2024

神经 Sinkhorn 梯度流

我们提出了神经 Sinkhorn 梯度流（NSGF）模型，该模型使用神经网络来逼近底层 Wasserstein 梯度流的一部分，通过 Sinkhorn 分歧到目标分布的时间变化速度场的参数化，利用速度场匹配训练方案进行样本估计。理论分析表明，随着样本数量无限增加，经验估计的均场近似收敛于真实的底层速度场。为进一步提高模型在高维任务上的效率，我们设计了一个两阶段的 NSGF++ 模型，首先使用 Sinkhorn 流快速接近图像流形（≤5 次 NFE），然后沿着简单的直线流细化样本。通过合成和真实世界基准数据集的数值实验证明了我们的理论结果并证明了所提出方法的有效性。

Jan, 2024