正则性作为正则化:Brenier式平滑和强凸势能在最优输运中的应用
本文提出了一种针对离散最优输运问题的平滑凸正则化统一框架,并基于 Bregman 差异将正则化最优输运等效于矩阵相似问题,其中的算法包括基于 Sinkhorn-Knopp 以及 Dykstra 的交替投影算法,以及基于牛顿-拉夫逊法的扩展算法。此外,还将该框架应用到了机器学习和信息几何等领域,并通过实验进行了验证。
Oct, 2016
应用最优输运及熵正则化计算Wasserstein距离中的Sinkhorn近似算法的梯度,可以提高学习和优化问题的效率,同时通过高阶平滑性,也可以提供统计保证。
May, 2018
本文章提出了一种新的方法来估计高维中两个概率分布之间的Wasserstein距离和最优传输方案,该方法可以在各种任务中获得显著的改进,包括单细胞RNA测序数据的领域适应性。该方法基于低运输秩的耦合,解决了数据驱动最优传输中的维数灾难,并得到了理论分析的支持。
Jun, 2018
本文对最优传输距离的使用进行了探索,指出在大规模数据集上计算这些距离的方法是通过平均几个较小的最优传输问题的结果。我们论证了这种方法等效于原问题的隐式正则化,并具有无偏估计,梯度和期望值周围的集中度约束等吸引人的属性。同时我们还开展了梯度流、GAN或颜色转换等经验实验,以突出这种策略的实际价值。
Oct, 2019
该论文研究了一种通过优化传输映射将概率测度集嵌入希尔伯特空间的方法,并证明了当参考概率密度在一个凸集上均匀分布时,该嵌入具有(bi-)H"older连续性,同时可等价解释为对于优化传输映射的维度无关的H"older稳定性结果。这一方法使得一般的监督学习和无监督学习算法可以直接应用于测度数据上。
Oct, 2019
本研究提出了一个新的正则化解释角度,即将正则化视为一种鲁棒性机制,展示了任何凸正则化的OT都可以被解释为接受对手--地面成本的方式。这同时可以在地面空间上提供鲁棒的不相似性度量方法,并提出了相应的算法和实验性说明了这种方法的优越性。
Feb, 2020
在这项研究中,我们探讨了在概率空间上定义的Sobolev平滑函数的数值逼近的挑战性问题。我们采用三种基于机器学习的方法,通过求解有限个最优传输问题和计算相应的Wasserstein潜势,使用Wasserstein Sobolev空间中的经验风险最小化和Tikhonov正则化,以及通过表征Tikhonov泛函的Euler-Lagrange方程的弱形式来解决这个问题。作为理论贡献,我们对每种解决方法的泛化误差提供了明确且定量的界限。在数值实现中,我们利用适当设计的神经网络作为基函数,经过多种方法的训练,使我们能够在训练后快速评估逼近函数。因此,我们的构造性解决方案在相同准确性下显著提高了评估速度,超过了现有方法数个数量级。
Oct, 2023
本文主要讨论了在源测度和目标测度均为次高斯测度的情况下,估计具有平方欧氏距离成本的熵正则化最优传输(EOT)映射的问题,并指出了在目标测度具有紧支集或强对数凹性时,即使采用了最近提出的样本内估计器,期望均方$L^2$误差仅以至少$O(n^{-1/3})$的速率衰减,而对于一般次高斯情况,期望$L^1$误差以至少$O(n^{-1/6})$的速率衰减,并且这些结果在正则化参数上具有多项式依赖性。由于这些结果消除了对紧支集的要求,因此尽管与源测度和目标测度均为紧支集(平方$L^2$误差以速率$O(n^{-1})$收敛)或源测度为次高斯而目标测度为紧支集(平方$L^2$误差以速率$O(n^{-1/2})$收敛)的已知结果相比还不够优化,但它们具有重要意义。证明技巧利用了偏差-方差分解,其中方差通过标准的集中度结果进行控制,而偏差则通过T1-传输不等式以及在次高斯假设下估计EOT成本的样本复杂性结果来处理。实验结果显示了对方差项控制的松弛性,并最后提出了几个开放性问题。
Nov, 2023
使用投影和子空间的替代方法优化原始的最优输运问题,同时研究其在不同领域的应用,包括黎曼流形、不平衡最优输运问题、梯度流和概率测度空间中的Busemann函数以及Gromov-Wasserstein距离的推广。
Nov, 2023