Jun, 2024

神经（熵）最优输运的生成条件分布

PDF
TL;DR学习条件分布是具有挑战性的，因为所需的结果不是单个分布，而是与协变量的多个实例对应的多个分布。我们引入一种新颖的神经自由最优输运方法，旨在有效地学习条件分布的生成模型，特别是在样本量有限的情况下。我们的方法依赖于两个神经网络的极小极大训练：一个生成网络参数化条件分布的逆累积分布函数，另一个网络参数化条件 Kantorovich 势。为防止过拟合，我们通过惩罚网络输出的 Lipschitz 常数来正则化目标函数。我们在真实数据集上的实验结果显示了我们的算法相对于最先进的条件分布学习技术的有效性。我们的实现可以在 https URL 找到。
发现论文，激发创造
  • 基于最优传输的条件采样生成流

    提出了一种非参数生成模型，通过使用三角形状的传输映射来描述目标分布的条件分布，解决了基于参数的偏差和梯度优化器学习这些转换的可靠性问题。

    Jul, 2023

  • 通过输入凸神经网络实现最优传输映射

    本文提出了一种新的、原则性的方法来从样本中学习两个分布之间的最优传输，学习方法基于最优传输理论并涉及解决一个新的极小极大优化问题，通过最优 Kantorovich 势量级诱导最优传输映射，借鉴最近在输入凸型神经网络领域的进展，提出了一个新的框架，其中一个凸函数的梯度表示最优传输映射。数值实验表明，我们学习到了最优传输映射，这一方法确保我们发现的传输映射独立于神经网络的初始化方式。而且，由于凸函数的梯度自然地模拟了不连续的传输映射，因此可以轻松捕捉具有不连续支持的目标分布。

    Aug, 2019

  • 条件分布间的实证最优传输

    本文研究了基于公共变量的两个联合分布的条件 Optimal Transportation 问题，提出了一种基于 Maximum Mean Discrepancy 的正则化器用于解决连续变量和分布不同的情况，进而实现了条件转移计划的估计和统计一致性证明，并在分类、few-shot 分类和细胞响应预测等领域中进行了实证评估。

    May, 2023

  • 基于得分的生成神经网络用于大规模最优传输

    本文提出了一种基于得分的生成模型，通过 Langevin 动态学习和采样源数据和目标数据之间的 Sinkhorn 耦合，从而解决大规模最优输运问题。

    Oct, 2021

  • 生成熵神经最优传输在空间内和空间间的映射

    学习度量到度量映射是机器学习中的一项关键任务，而神经最优输运方法（Neural OT）结合了神经网络模型和最优输运理论，将最优输运作为归纳偏置，并通过实验表明其在单细胞生物学中具有实用性。

    Oct, 2023

  • 通过明确的 Wasserstein 最小化，逐步半离散地训练生成网络的方法

    本文提供一种简单的过程，用于将生成网络适配成目标分布，从而实现小的 Wasserstein 距离，从而逐渐将生成器网络调整为目标分布。在 MNIST 和 Thin-8 数据的训练和测试集上，实现了良好的性能。

    Jun, 2019

  • 使用最优传输学习有向图模型

    使用最优传输的方法实现了一个面向许多有向图的参数学习框架，可以灵活地从不完整数据中推断概率有向图模型中的潜在变量。在多个实验中，该方法展示了恢复真实参数和离散表示学习等任务上的优异性能。

    May, 2023

  • 基于最优输运的条件分布熵检测异常样本

    通过建立优化方程，利用训练样本和测试输入的几何信息，提出了一种无需依赖分布假设、先验知识和特定训练机制的新型距离方法，用于在存在测试输入的情况下，有效利用分布信息来判断样本是否为来自分布之外的样本，并在基准数据集上展开的大量实验证明了该方法在区分来自分布之外样本上的性能优越性。

    Jan, 2024

  • 基于条件最优传输的高效神经网络方法和贝叶斯推断应用

    我们提出了两种神经网络方法来近似求解静态和动态条件优化传输问题（COT），这两种方法能够对条件概率分布进行抽样和密度估计，在贝叶斯推断中是核心任务。我们的方法将目标条件分布表示为可处理的参考分布的转换，因此属于测度传输框架。这些方法利用了 COT 问题的静态和动态公式的结构，通过神经网络来参数化 COT 映射以提高可扩展性。我们通过使用基准数据集和贝叶斯反问题将其与最先进的方法进行比较，证明了它们的有效性和效率。

    Oct, 2023

  • 通过对抗性对比最优输运进行表示学习

    本文提出了一种通过优化转移距离来学习捕捉数据时间空间关系的紧凑（低维）表示，与此同时通过 Wasserstein GANs 和分类器连接的新框架产生对比学习的负分布，结果在人类动作识别任务中表现良好。

    Jul, 2020