Dec, 2020

凸势流：具有最优输运和凸优化的通用概率分布

PDF
TL;DR本文介绍了由 Optimal Transport 理论激发的、参数化反演模型的自然和有效表示 ——Convex Potential Flows (CP-Flow)，提供了一个新的梯度估计器以最大限度地提高模型效果，并证明了 CP-Flows 是通用密度近似器，且在 OT 意义下是最优的。
flow-based modelsconvex potential flowsot theorymaximum likelihood trainingdensity estimation
发现论文，激发创造
  • 黎曼凸势图

    我们提出并研究了一类使用来自黎曼最优传输的凸势的流，可以对任何紧黎曼流形上的分布进行建模，用于理解物理和地质等非欧几里德数据的分布模拟。

    Jun, 2021

  • 隐式黎曼下凸势能映射

    本研究提出了一种基于隐式神经层和最优输运理论的流模型 IRCPMs，用于在具有已知对称组的 Riemannian 流形上建模密度，并展示了在扭曲的流形上的密度估计实验。

    Oct, 2021

  • 使用输入凸神经网络来优化概率空间上的泛函

    该研究使用输入凸神经网络来近似 JKO 方案，并在控制分子生成试验中实验验证其可行性和有效性。

    Jun, 2021

  • 通过输入凸神经网络实现最优传输映射

    本文提出了一种新的、原则性的方法来从样本中学习两个分布之间的最优传输，学习方法基于最优传输理论并涉及解决一个新的极小极大优化问题，通过最优 Kantorovich 势量级诱导最优传输映射，借鉴最近在输入凸型神经网络领域的进展，提出了一个新的框架，其中一个凸函数的梯度表示最优传输映射。数值实验表明，我们学习到了最优传输映射，这一方法确保我们发现的传输映射独立于神经网络的初始化方式。而且，由于凸函数的梯度自然地模拟了不连续的传输映射，因此可以轻松捕捉具有不连续支持的目标分布。

    Aug, 2019

  • 使用最优传输理论分析过参数化模型上梯度下降的全局收敛性

    利用粒子混合模型及连续时间梯度下降对机器学习与信号处理中的测量值进行凸函数最小化，特别是在使用单个隐藏层的神经网络进行训练时，可通过 Wasserstein 梯度流达到全局最小值。

    May, 2018

  • OT-Flow: 基于最优输运的快速准确连续正则化流

    提出了一种基于最优传输理论和神经常微分方程的连续归一化流方法，具有高维密度估计和生成建模的能力，在五种任务中与现有技术相比表现出色，且训练时间为现有技术的 8 倍。

    May, 2020

  • 梯度流与最优输运的讲义

    本文简要阐述了在度量空间中梯度流的最强变分形式及其在概率测度的 Wasserstein 空间中扩散方程的应用，这些笔记是第二作者在 2009 年 6 月 22 日至 26 日的格勒诺布尔夏季学校 “最优输运：理论与应用” 中所作的一系列讲座的基础。

    Sep, 2010

  • Rectified Flow：一种保持边际的最优传输方法

    研究了一种基于流的方法来解决优化运输问题，该方法可通过神经普通可微方程迭代地减少运输成本，同时自动维护边际约束，相对于已有的方法，该方法针对特定运输成本函数且内部减少可行耦合来减少运输成本，是一种单目标变体。

    Sep, 2022

  • 线性控制神经 ODE 中将正规化流视为最优传输映射的近似

    通过深度神经网络构建概率测度之间的可逆传输映射，本文考虑了恢复绝对连续测度之间 $W_2$- 最优传输映射作为线性控制神经 ODE 流的问题，并提出了一种基于离散最优耦合的离散控制问题，以近似求解最优传输映射。最后，通过 Pontryagin 最大值原理，提出了一种迭代数值方法用于实际计算近似最优传输映射的算法。

    Nov, 2023

  • $L_2$ 正则输运正则化的势流生成器

    本研究提出了具有 $L_2$ 优化输运规则的潜在流生成器，可轻松集成到包括不同版本的 GAN 和基于流的模型在内的各种生成模型中。研究表明潜在流生成器在二维问题中的正确性和鲁棒性，并阐明了 $L_2$ 优化输运规则对 “接近度” 概念的影响。此外，我们展示了在 MNIST 数据集和 CelebA 数据集的无配对训练数据图像转换任务中潜在流生成器的有效性。

    Aug, 2019