ICMLJun, 2018

切片 - 瓦瑟斯坦流：通过最优输运和扩散的非参数生成建模

PDF
TL;DR本研究提出了一种基于梯度流的、无需参数的算法，用于学习复杂数据集的潜在分布和从中进行抽样。该算法是建立在隐式生成建模 (IGM) 与最优输运之间的联系理论基础上，并通过泛函优化问题的方式得以实现。通过梯度流和随机微分方程的联系，该算法既能高效地解决优化问题，还提供了理论分析和有限时间误差保证。实验结果表明，该算法能够成功地捕捉不同类型的数据分布结构。
implicit generative modelingoptimal transportfunctional optimizationprobability measuresfinite-time error guarantees
发现论文，激发创造
  • 基于最优传输的条件采样生成流

    提出了一种非参数生成模型，通过使用三角形状的传输映射来描述目标分布的条件分布，解决了基于参数的偏差和梯度优化器学习这些转换的可靠性问题。

    Jul, 2023

  • 基于切片瓦砾斯坦距离的非参数生成建模的差分私有梯度流

    通过在概率测度空间中基于无参数梯度流的差分隐私生成建模方法，本研究提出了一种新颖的差分隐私生成建模方法，通过粒子方案运行的新离散流，利用切片 Wasserstein 距离来计算私有的漂移，实验结果显示，相比基于生成器模型，我们的模型在较低的隐私成本下能够生成更高质量的数据，是一种可行的替代方法。

    Dec, 2023

  • 运输，变分推断和扩散：在 退火流和薛定谔桥 的应用

    该论文探讨了最优输运和变分推理之间的关系，并提出了一系列采样和生成建模的新技术，其中涉及随机微分方程和 Girsanov 转换等内容。

    Jul, 2023

  • Wasserstein 梯度流的近似推断

    该研究论文介绍了一种基于 Wasserstein 梯度流的扩散过程的新近似推理方法，该方法直接在连续函数空间中计算 Wasserstein 梯度流，并具有可比拟的过滤能力。

    Jun, 2018

  • 梯度流与最优输运的讲义

    本文简要阐述了在度量空间中梯度流的最强变分形式及其在概率测度的 Wasserstein 空间中扩散方程的应用，这些笔记是第二作者在 2009 年 6 月 22 日至 26 日的格勒诺布尔夏季学校 “最优输运：理论与应用” 中所作的一系列讲座的基础。

    Sep, 2010

  • 生成式分配流用于表示和学习离散数据的联合分布

    介绍了一种新颖的生成模型，用于表示可能大量的离散随机变量的联合概率分布，该方法使用统计子流形上的随机分配流量进行测量传输，从而能够有效地从目标分布中进行采样并评估不可见数据点的可能性。

    Jun, 2024

  • 可扩展的 Wasserstein 梯度流用于非平衡最优传输的生成建模

    本文提出了一种可扩展的基于 Wasserstein 梯度流的生成模型，称为 Semi-dual JKO (S-JKO)，通过使用 JKO 步骤的半对偶形式，将训练复杂度降低至 O (K)，实验证明该模型在 CIFAR-10 和 CelebA-HQ-256 数据集上取得了显著优于现有 WGF 模型的 FID 分数，与最先进的图像生成模型相当。

    Feb, 2024

  • 通过明确的 Wasserstein 最小化，逐步半离散地训练生成网络的方法

    本文提供一种简单的过程，用于将生成网络适配成目标分布，从而实现小的 Wasserstein 距离，从而逐渐将生成器网络调整为目标分布。在 MNIST 和 Thin-8 数据的训练和测试集上，实现了良好的性能。

    Jun, 2019

  • FreeFlow: 通过最优传输对扩散概率模型进行全面理解

    FreeFlow 是一个框架，以时间依赖的最优输运来解释扩散公式，其中概率密度的演化模式由 Wasserstein 空间中的泛函梯度流给出，既阐明了 DPMs 的微妙机制，也通过创造性地涉及 Lagrangian 和 Eulerian 观点来指示一些缺陷的根源，特别地，核心方程将所有随机和确定性 DPMs 凝聚为一个单一情况，展示了我们方法的可扩展性，此外，我们工作中使用的 Riemannian 几何有潜力桥接数学中更广泛的领域，为未来建立更优秀和更广义的模型提供了更深入的工具。

    Dec, 2023

  • 通过 Wasserstein 空间中的近端梯度下降实现基于流的生成模型的收敛

    通过使用渐进流模型 JKO 流模型，在生成数据方面提供了理论保证，证明了其数据生成能力的 KL 保证在一些条件下的收敛速度为 O (ε^2)。

    Oct, 2023