Aug, 2019

通过输入凸神经网络实现最优传输映射

PDF
TL;DR本文提出了一种新的、原则性的方法来从样本中学习两个分布之间的最优传输，学习方法基于最优传输理论并涉及解决一个新的极小极大优化问题，通过最优 Kantorovich 势量级诱导最优传输映射，借鉴最近在输入凸型神经网络领域的进展，提出了一个新的框架，其中一个凸函数的梯度表示最优传输映射。数值实验表明，我们学习到了最优传输映射，这一方法确保我们发现的传输映射独立于神经网络的初始化方式。而且，由于凸函数的梯度自然地模拟了不连续的传输映射，因此可以轻松捕捉具有不连续支持的目标分布。
发现论文，激发创造
  • 神经最优传输

    该研究介绍了一种基于神经网络的算法，用于计算强和弱输运成本的最优输运图和计划，并证明了神经网络是概率分布之间传输计划的通用逼近器。通过在玩具示例和非成对图像翻译上评估我们的最优输运算法的性能。

    Jan, 2022

  • 神经（熵）最优输运的生成条件分布

    学习条件分布是具有挑战性的，因为所需的结果不是单个分布，而是与协变量的多个实例对应的多个分布。我们引入一种新颖的神经自由最优输运方法，旨在有效地学习条件分布的生成模型，特别是在样本量有限的情况下。我们的方法依赖于两个神经网络的极小极大训练：一个生成网络参数化条件分布的逆累积分布函数，另一个网络参数化条件 Kantorovich 势。为防止过拟合，我们通过惩罚网络输出的 Lipschitz 常数来正则化目标函数。我们在真实数据集上的实验结果显示了我们的算法相对于最先进的条件分布学习技术的有效性。我们的实现可以在 https URL 找到。

    Jun, 2024

  • 最优输运和生成模型的几何视角

    本文提出一种基于凸几何和最优输运的可变分模型生成方法，通过对 GAN 模型的最优输运视角，表明判别器计算 Kantorovich 势，生成器计算输运映射

    Oct, 2017

  • 使用最优传输理论分析过参数化模型上梯度下降的全局收敛性

    利用粒子混合模型及连续时间梯度下降对机器学习与信号处理中的测量值进行凸函数最小化，特别是在使用单个隐藏层的神经网络进行训练时，可通过 Wasserstein 梯度流达到全局最小值。

    May, 2018

  • 大规模最优输运和映射估计

    本文提出了一个新颖的两步方法来解决基本问题，即从一个分布学习到另一个分布的最优映射，首先我们学习一个最优传输（OT）方案，其次我们估计 Monge 映射作为一个深度神经网络，演示了我们的建议方法在域适应和生成建模方面的应用。

    Nov, 2017

  • 通过对抗性对比最优输运进行表示学习

    本文提出了一种通过优化转移距离来学习捕捉数据时间空间关系的紧凑（低维）表示，与此同时通过 Wasserstein GANs 和分类器连接的新框架产生对比学习的负分布，结果在人类动作识别任务中表现良好。

    Jul, 2020

  • 使用带有铰链正则化的最优输运实现分类鲁棒性

    利用最优传输的 Kantorovich- Rubinstein 对偶公式的铰链正则化版本，提出了一个新的框架来学习 1-Lipschitz 神经网络，并在此基础上进行分类。该方法能够提高网络的鲁棒性、具有可验证的鲁棒性边界，并在不降低准确度的前提下解决了这一问题。

    Jun, 2020

  • 基于得分的生成神经网络用于大规模最优传输

    本文提出了一种基于得分的生成模型，通过 Langevin 动态学习和采样源数据和目标数据之间的 Sinkhorn 耦合，从而解决大规模最优输运问题。

    Oct, 2021

  • 凸势流：具有最优输运和凸优化的通用概率分布

    本文介绍了由 Optimal Transport 理论激发的、参数化反演模型的自然和有效表示 ——Convex Potential Flows (CP-Flow)，提供了一个新的梯度估计器以最大限度地提高模型效果，并证明了 CP-Flows 是通用密度近似器，且在 OT 意义下是最优的。

    Dec, 2020

  • 具有通用代价函数的神经最优输运

    本文介绍了一种基于神经网络的新算法，用于计算一般的成本功能的最优输运方案和映射，该算法通过鞍点重构最优输运问题并推广到先前在弱和强输运成本功能中的方法，最终构建了一个可保存数据类别结构的数据分布映射功能。

    May, 2022