Jun, 2020

关于投影鲁棒最优输运的样本复杂度和模型错误问题的研究

PDF
TL;DR本文利用基于投影健壮性的最优输运（OT）距离作为损失函数来研究参数推断，基于多维维度的视角建立了多个基本统计属性，提出了平均最优输运（IPRW）距离，并给出了复杂性界限和渐进保证。最后，在模型错误说明下给出了最小 PRW 估计量的两种渐进保证，并为具有投影维数大于 1 的 PRW 设计了新颖的变分分析和统计理论的组合。
optimal transportwasserstein distancesprojection robustparametric inferencehigh-dimensional inference
发现论文，激发创造
  • 投影稳健的 Wasserstein 距离及 Riemannian 优化

    本文探讨了同时具有非凸性和非光滑性的 Wasserstein 投影寻优问题，提出了基于 Riemannian 优化算法的三个简单且具有复杂性保证的算法，分别在合成数据和实际数据上进行了广泛的实验，证明了其在 PRW 距离计算中的优越性。

    Jun, 2020

  • 子空间鲁棒瓦热斯坦距离

    本文针对高维离散量之间的 Wasserstein 距离提出了具有鲁棒性的 “Max-Min” 方案，通过将量投影到一个较低维的子空间来最大化它们之间的距离。此外，我们提出了一种基于熵正则化的算法来解决相关问题，并在实验中显示了其优越性。

    Jan, 2019

  • 计算精确瓦瑟斯坦距离的快速近端点方法

    开发了一种基于 Inexact Proximal point 方法的算法 (IPOT)，该算法通过将投影用于概率单纯形来近似评估近端算子，以解决精确最优输运问题，并具有具有理论保证和强健的正则化参数选择，同时缓解了数值稳定性问题并避免了应用于生成模型时的收缩问题。此外，基于 IPOT 提出了一种新的算法，用于获得更锐利的 Wasserstein 重心。

    Feb, 2018

  • 基于子空间投影的最优运输在机器学习应用中的利用

    使用投影和子空间的替代方法优化原始的最优输运问题，同时研究其在不同领域的应用，包括黎曼流形、不平衡最优输运问题、梯度流和概率测度空间中的 Busemann 函数以及 Gromov-Wasserstein 距离的推广。

    Nov, 2023

  • 子空间绕行：构建在子空间投影上最优的传输计划

    本文提出了两种方法，从子空间中的最优传输中推断出在整个空间中的近似最优传输， 进而研究了高斯混合模型的领域适应方案并应用于椭圆词嵌入的语义中介。

    May, 2019

  • 尖峰运输模型中的 Wasserstein 距离估计

    本文提出了一种新的统计模型 —— 尖峰运输模型，该模型规范化了两个概率分布仅在低维子空间上不同的假设。我们研究了在这个模型下 Wasserstein 距离的最小二乘率，并表明这种低维结构可以避免维度灾难。通过最小二乘分析，我们得出了一个下界，表明在缺少这样的结构的情况下，插值估计量在高维度中几乎是最优的。我们还提供了统计和计算难度之间的差距的证据，并猜测任何计算上有效的估计量注定受到维数灾难的影响。

    Sep, 2019

  • 高斯平滑最优输运：度量结构与统计效率

    通过引入高斯平滑的方法，本文提出了一种新颖的高斯平滑最优输运（Gaussian-smoothed OT）框架，以在保持 1-Wasserstein 度量结构的同时消除了实证逼近的维数诅咒，并在实证研究中证实了其可行性和优越性，为信息科学领域中的最优输运理论和应用提供了新思路。

    Jan, 2020

  • 鲁棒的 Wasserstein 分布推断及其在机器学习中的应用

    本文研究表明多个机器学习评估器，包括平方根 LASSO 和正则化逻辑回归，可以表示为分布鲁棒优化问题的解决方案，其相关的不确定区域基于适当定义的 Wasserstein 距离。因此，我们的表示使我们能够将正则化视为引入人为对手的结果，该对手扰动经验分布以考虑损失估计中的样外效应。此外，我们引入了 RWPI（Robust Wasserstein Profile Inference），这是一种新颖的推断方法，它将启发式似然性方法的使用扩展到最优传输成本的设置中（其中 Wasserstein 距离是一个特殊情况）。我们使用 RWPI 展示如何最优地选择不确定性区域的大小，从而能够选择这些机器学习评估器的正则化参数，而不使用交叉验证。数值实验也给出了验证我们理论发现的结果。

    Oct, 2016

  • 在 Wasserstein 距离中的最优实例私有密度估计

    使用 Wasserstein 距离对分布进行差分私密密度估计，并设计了可以适应简单实例的实例最优算法，对于特殊情况下的离散分布，结果还导致了 TV 距离下的实例最优私密学习。

    Jun, 2024

  • 小批量 Wasserstein 学习：渐近和梯度特性

    本文对最优传输距离的使用进行了探索，指出在大规模数据集上计算这些距离的方法是通过平均几个较小的最优传输问题的结果。我们论证了这种方法等效于原问题的隐式正则化，并具有无偏估计，梯度和期望值周围的集中度约束等吸引人的属性。同时我们还开展了梯度流、GAN 或颜色转换等经验实验，以突出这种策略的实际价值。

    Oct, 2019