Nov, 2023

Wasserstein 空间中的流形学习

PDF
TL;DR本文旨在建立流形学习算法在紧凸子集上绝对连续概率测度空间中的理论基础，其中测度空间以 Wasserstein-2 距离 W 度量。我们首先介绍了概率测度子流形 Λ 的一种自然构造，配备了度量 Wλ，这是 W 对 Λ 的测地距离限制。与其他构造形成对比，这些子流形不一定是平坦的，但仍然允许类似于 Riemann 流形的局部线性化。然后，我们展示了如何仅通过 Λ 的样本集合和外在 Wasserstein 距离 W 来学习（Λ，Wλ）的潜在流形结构。特别地，我们展示了度量空间（Λ，Wλ）可以从具有节点 Λ 样本集合和边权重 W (λi, λj) 的图中，按照 Gromov-Wasserstein 的意义上逐渐恢复。此外，我们通过对从 λ 到足够接近和不同的样本 Λ 集合中，使用最优输运映射的合适 “协方差算符” 的谱分析，展示了如何渐近地恢复样本 λ 处的切空间。本文最后给出了一些关于子流形 Λ 的具体构造以及通过谱分析恢复切空间的数值例子。
manifold learningabsolutely continuous probability measureswasserstein-2 distancelatent manifold structurespectral analysis
发现论文，激发创造
  • 用 Wasserstein 距离估计切空间和维数

    使用本地 PCA 算法估计嵌入的欧几里得空间中光滑紧致亚流形的维数和正切空间需要的样本点数具有数学严格的上界，该估计考虑了非均匀数据分布和可能跨越亚流形变化的噪声，并允许在多个点上同时进行估计。

    Oct, 2021

  • 关于随机向量的仿射变换的 Wasserstein 距离

    论文阐述了位于 Wasserstein 空间的数据流形学习中的关于随机向量在 $\mathbb {R}^n$ 中的二次 Wasserstein 距离的一些已知下界，重点考虑应用于数据的仿射变换。具体而言，通过计算协方差矩阵之间的 Bures 度量，给出了关于在 $\mathbb {R}^2$ 中具有不相关分量的随机向量的旋转副本的具体下界。我们还推导了由仿射映射组成的上界，从而产生了多样的微分同胚，应用于初始数据度量。我们将这些界限应用于各种分布，包括位于 $\mathbb {R}^2$ 中的 1 维流形上的分布，并展示了界限的质量。最后，我们提出了一个可以应用于流形学习框架中的模仿手写数字或字母数据集的框架。

    Oct, 2023

  • Wasserstein 空间上的逼近理论、计算与深度学习

    在这项研究中，我们探讨了在概率空间上定义的 Sobolev 平滑函数的数值逼近的挑战性问题。我们采用三种基于机器学习的方法，通过求解有限个最优传输问题和计算相应的 Wasserstein 潜势，使用 Wasserstein Sobolev 空间中的经验风险最小化和 Tikhonov 正则化，以及通过表征 Tikhonov 泛函的 Euler-Lagrange 方程的弱形式来解决这个问题。作为理论贡献，我们对每种解决方法的泛化误差提供了明确且定量的界限。在数值实现中，我们利用适当设计的神经网络作为基函数，经过多种方法的训练，使我们能够在训练后快速评估逼近函数。因此，我们的构造性解决方案在相同准确性下显著提高了评估速度，超过了现有方法数个数量级。

    Oct, 2023

  • 测试流形假说

    本论文旨在发展一种算法（并附带复杂性保证），用于适应一个未知的由可分 Hilbert 空间支持的概率分布，仅使用该分布的独立同分布样本来调整流形。

    Oct, 2013

  • 基于子空间投影的最优运输在机器学习应用中的利用

    使用投影和子空间的替代方法优化原始的最优输运问题，同时研究其在不同领域的应用，包括黎曼流形、不平衡最优输运问题、梯度流和概率测度空间中的 Busemann 函数以及 Gromov-Wasserstein 距离的推广。

    Nov, 2023

  • Wasserstein 空间的几何研究： 超度量

    研究了紧超度量空间 X 的测度空间的几何形状，表明此 Wasserstein 空间的幂 p 使其成为 l^1 的凸子集，证明了关于超度量情况下 Wasserstein 空间的边界和尺寸估计，以及证明了关于超度量空间包含大的 co-Lipschitz 图像的结构定理。

    Apr, 2013

  • 学习 Wasserstein 距离的置换不变网络

    通过置换不变网络将样本从概率测度映射到低维空间，使编码样本之间的欧几里得距离反映概率测度之间的 Wasserstein 距离，进一步证明了该网络可以推广到正确计算未见密度之间的距离，并且可以学习到概率分布的第一和第二矩。

    Oct, 2020

  • 学习嵌入到熵 - Wasserstein 空间

    本文研究了一种称为 Wasserstein space 的新型嵌入方法，它在嵌入数据时不受限于欧几里得空间假设，可以更好地捕捉数据的潜在语义结构，同时对于更广泛的度量结构也具有更大的灵活性，并演示了其在词嵌入方面的应用。

    May, 2019

  • 黎曼流形上的 Wasserstein 重心

    研究高斯流形概率测度空间中的质心，建立了各种假设的绝对连续性，证明了 Jensen 不等式在 Wasserstein 空间的应用，以及 Riemann 流形上的随机可测集的广义 Brunn-Minkowski 不等式。

    Dec, 2014

  • Wasserstein 空间的几何研究：欧几里得空间

    该研究以欧几里得空间的 Wasserstein 空间（具有二次成本）为内在度量空间，计算其等距群。在直线的情况下，存在一种 “异态” 的等距流，这与高维度的欧几里得空间的情况形成对比。研究了这些空间的曲率和各种秩。

    Apr, 2008