通过熵传输核心从批次的不成对点转移算子

Feb, 2024

通过熵传输核心从批次的不成对点转移算子

Transfer Operators from Batches of Unpaired Points via Entropic Transport Kernels

Florian Beier, Hancheng Bi, Clément Sarrazin, Bernhard Schmitzer, Gabriele Steidl

TL;DR本文关注的是给定 N 个独立观测块的随机变量 X 和 Y 的联合概率的估计问题，我们推导了极大似然推断的函数形式，提出了一种可计算的逼近方法，并分析了它们的性质。我们证明了一个 Γ- 收敛结果，表明随着观测块的数量 N 趋于无穷大，我们能够从经验逼近中恢复真实的概率密度。通过熵最优输运核，我们建模了一类假设空间，通过最小化推断函数在该假设类上的值，可以近似推断数据中的转移算子。我们通过修改 EMML 算法以考虑额外的转移概率约束来解决所得到的离散最小化问题，并证明了该算法的收敛性。概念验证示例展示了我们方法的潜力。

Abstract

In this paper, we are concerned with estimating the joint probability of random variables $X$ and $Y$, given $N$ independent observation blocks $(\boldsymbol{x}^i,\boldsymbol{y}^i)$, $i=1,\ldots,N$, each of $M$ samples $(\boldsymbol{x}^i,\boldsymbol{y}^i) = \bigl((x^i_j, y^i_{\sigma^i(

joint probability estimation observation blocks maximum-likelihood inference empirical approximations entropic optimal transport kernels

发现论文，激发创造

熵估计的最优传输映射

本文提出一种可有效计算高维数据分布之间优化映射的估计器，使用 Sinkhorn 算法计算最优熵方案的重心投影，兼具计算效率高和统计性能较好的优势。

Sep, 2021

熵优化输运是最大似然反卷积

我们通过说明高斯反卷积的最大似然估计与判别式最优传输距离的计算相对应来给出熵最优传输的统计解释。这一结构性结果为机器学习社区广泛采用这些工具提供理论支持。

Sep, 2018

条件分布间的实证最优传输

本文研究了基于公共变量的两个联合分布的条件 Optimal Transportation 问题，提出了一种基于 Maximum Mean Discrepancy 的正则化器用于解决连续变量和分布不同的情况，进而实现了条件转移计划的估计和统计一致性证明，并在分类、few-shot 分类和细胞响应预测等领域中进行了实证评估。

May, 2023

最优传输的共聚类

通过基于熵正则化最优输运的新方法和 Gromov-Wasserstein 距离概念，实现并优化了联合聚类的算法，可以自动地确定行和列聚类的数量，并在广泛的实验评估中展示了其快速和准确的功能。

May, 2017

神经（熵）最优输运的生成条件分布

学习条件分布是具有挑战性的，因为所需的结果不是单个分布，而是与协变量的多个实例对应的多个分布。我们引入一种新颖的神经自由最优输运方法，旨在有效地学习条件分布的生成模型，特别是在样本量有限的情况下。我们的方法依赖于两个神经网络的极小极大训练：一个生成网络参数化条件分布的逆累积分布函数，另一个网络参数化条件 Kantorovich 势。为防止过拟合，我们通过惩罚网络输出的 Lipschitz 常数来正则化目标函数。我们在真实数据集上的实验结果显示了我们的算法相对于最先进的条件分布学习技术的有效性。我们的实现可以在 https URL 找到。

Jun, 2024

熵方案在最优输运和梯度流中的收敛性

本文证明了熵正则化最优输运问题的 Gamma 收敛性，并证明了隐式步骤按熵正则化距离时收敛于原始梯度流，证明了压缩后的最优输运计划收敛于最优输运计划，这表明了压缩后的熵正则化最优输运计划在熵消失时收敛于最优输运计划。

Dec, 2015

聚合数据推理：一种最优传输方法

本文提出了一种新的高效置信传播算法 Sinkhorn belief propagation (SBP)，用于基于大量个体生成的聚合数据的概率图模型的推断问题。该算法基于最优传输理论并具有全局收敛保证，特别适用于隐马尔可夫模型的情况。

Mar, 2020

低秩约束下匹配相似性矩阵估计

本文针对高维运输问题中的运输剩余（又称匹配亲和力）估计问题提出了一种基于矩阵核范数正则化的新方法，旨在有效强制亲和力矩阵的秩约束，从而估计出低秩矩阵并揭示与匹配相关的主要因素。

Dec, 2016

使用最优传输学习有向图模型

使用最优传输的方法实现了一个面向许多有向图的参数学习框架，可以灵活地从不完整数据中推断概率有向图模型中的潜在变量。在多个实验中，该方法展示了恢复真实参数和离散表示学习等任务上的优异性能。

May, 2023

基于因子耦合的统计最优输运

本文章提出了一种新的方法来估计高维中两个概率分布之间的 Wasserstein 距离和最优传输方案，该方法可以在各种任务中获得显著的改进，包括单细胞 RNA 测序数据的领域适应性。该方法基于低运输秩的耦合，解决了数据驱动最优传输中的维数灾难，并得到了理论分析的支持。

Jun, 2018