Jan, 2024

关于 t-SNE 在流形上的点云梯度流收敛分析

PDF
TL;DR我们提出了关于 t-SNE 算法有限性的理论基础。t-SNE 使用梯度下降迭代与 Kullback-Leibler（KL）散度作为目标函数，旨在在高维空间中识别与原始数据点相似的一组点，最小化 KL 散度。在对采样数据集进行弱收敛假设的条件下，研究 t-SNE 的性质，如困惑度和亲和力，并且检验 t-SNE 生成点在连续梯度流下的行为。通过证明 t-SNE 生成的点保持有界，我们利用这一洞察力建立了 KL 散度的极小化存在性。
发现论文，激发创造
  • t-SNE 可视化高维聚类数据的理论基础

    本文对 t-SNE 算法的理论框架进行了研究，在梯度下降法的基础上提出了一种新的理论框架；对于 t-SNE 的 embedding 阶段，文中还对其低维映射的运动学进行了表征和说明。通过本文，我们发现了 t-SNE 的内在机制并说明其在可视化聚类数据方面具有非凡的实用性。

    May, 2021

  • 数据可视化中 t-SNE 算法的分析

    通过建立数据可视化形式的二维嵌入来正确地分离数据簇，使用 t-SNE 启发式的数据可视化方法在广泛的应用场景中成为事实上的标准，该研究提供了一种正式框架和分析，以分析数据可视化问题下 t-SNE 的性能表现，并且在满足特定条件时能部分恢复聚类结构。

    Mar, 2018

  • 在黎曼流形上的均值随机梯度下降

    本文提出了一个基于 Riemann 流形的梯度下降法以及一个几何性质框架，并探讨了如何将慢速收敛的结果转化为快速收敛结果。此外，我们将该框架应用于几何上强凸和欧几里得非凸问题，以及流式 $k$-PCA 问题，并展示了如何加速随机幂法的优化率。

    Feb, 2018

  • S+t-SNE - 将降维应用于数据流

    我们介绍了一种名为 S+t-SNE 的 t-SNE 算法的改进版本，它专门用于处理无限数据流，通过在新数据到达时增量更新 t-SNE 嵌入，保证了可扩展性和适应流式场景的能力，使用盲目方法进行漂移管理，调整嵌入空间，实现对不断演变的数据动态的持续可视化，实验评估结果表明 S+t-SNE 的效果和效率，突出其在流式场景中捕捉模式的能力，我们希望该方法能为研究人员和实践者提供一种实时理解和解释高维数据的工具。

    Mar, 2024

  • 核 t 分布随机邻域嵌入

    本文介绍了 t-SNE 算法的核化版本，能够将高维数据映射到低维空间并在非欧几里德度量下保留数据点之间的成对距离，可以通过仅在高维空间或在两个空间中使用核技巧来实现，提供了数据点之间关系的新视角，改进了包括使用核方法的分类问题的性能和准确性，并利用多个数据集阐明了 t-SNE 和其核化版本之间的区别，展示了不同类别点的更整洁的聚类。

    Jul, 2023

  • 黎曼流形上的随机梯度下降

    本文介绍了一种扩展随机梯度下降算法来优化在 Riemannian 流形上定义的代价函数的方法，并通过四个例子展示了其潜在的应用，其中包括派生和数字测试的一种新型的协方差矩阵的聚集算法。

    Nov, 2011

  • 梯度下降收敛于最小值点

    本文证明了随机初始化的梯度下降会收敛到局部最小值，证明使用了动力系统理论的 Stable Manifold Theorem。

    Feb, 2016

  • 通过 Wasserstein 空间中的近端梯度下降实现基于流的生成模型的收敛

    通过使用渐进流模型 JKO 流模型，在生成数据方面提供了理论保证，证明了其数据生成能力的 KL 保证在一些条件下的收敛速度为 O (ε^2)。

    Oct, 2023

  • 从群体损失的梯度流到随机梯度下降学习

    本文通过分析 Gradient Flow 在目标函数收敛时的性质，提供了 SGD 收敛的一般条件，研究了 Lyapunov potentials 与目标函数几何性质的关联，并给出了 SGD 收敛的保证，适用于一些复杂问题。

    Oct, 2022

  • 高效算法的 t - 分布随机邻域嵌入

    本论文介绍了一种名为 FIt-SNE 的快速傅里叶变换加速插值 t-SNE 方法和 out-of-core PCA 方法，这些方法可以加速 t-SNE 的计算，并允许在资源有限的计算机上计算大型数据集的 t-SNE。

    Dec, 2017