Dec, 2020

理解降维工具的工作原理：一种实证方法用于解析 t-SNE、UMAP、TriMAP 和 PaCMAP 进行数据可视化

PDF
TL;DR本文旨在深入探讨降维方法中保留局部和全局结构的重要性，针对保留局部结构提出了一些新的设计原则，并发掘出保留哪些部分对于保持全局结构的重要性，在此基础上提出一种新的降维算法 PaCMAP，该算法同时保留了局部和全局结构，并为构建降维算法时提供了一些出乎意料的设计选择报告。
发现论文，激发创造
  • 利用三元组实现更加全局准确的降维方法

    我们展示了经常使用的降维方法，如 t-SNE 和 LargeVis，不能很好地捕捉低维度嵌入中数据的全局结构，并提出了一种名为 TriMap 的新方法，使用三元组信息来捕获更高级别的结构，通过实验证明 TriMap DR 结果具有明显的优势。

    Mar, 2018

  • 经典降维的一种模型：UMAP 和 t-SNE 的概率视角

    该论文表明降维方法 UMAP 和 t-SNE 可以近似重构为与 ProbDR 中引入的广义 Wishart 模型对应的 MAP 推断方法，这种解释不仅可以提供对这些算法更深入的理论洞察，还引入了研究类似降维方法的工具。

    May, 2024

  • CBMAP：基于聚类的流形逼近和投影用于降维

    介绍了一种基于聚类的降维方法 CBMAP，旨在同时保留全局和局部结构，提供速度、可扩展性和对超参数依赖较小的解决方案，满足机器学习应用中对测试数据的低维投影的需求。

    Apr, 2024

  • UMAP: 统一流形近似投影降维

    UMAP 是一种基于黎曼几何和代数拓扑的流形学习技术，可以作为机器学习中通用的降维算法，具有与 t-SNE 相当的可视化质量和更好的整体结构保留能力，并且没有关于嵌入维度的计算限制。

    Feb, 2018

  • 归纳全局与局部流形逼近与投影

    GLoMAP 及其归纳版本 iGLoMAP 是一种新颖的流形学习方法，用于非线性降维和高维数据可视化，能有效地保留局部和全局的距离估计，并通过优化过程逐步展示从全局到局部形成的进展。iGLoMAP 通过深度神经网络使得在未见过的数据点上能够提供低维嵌入而无需重新训练算法，并适用于小批量学习，以加快梯度计算速度。经过与当前最先进的方法进行竞争性实验，在模拟数据和真实数据环境下成功应用了 GLoMAP 和 iGLoMAP。

    Jun, 2024

  • TriMap：使用三元组进行大规模降维

    TriMap 是一种基于三元组约束的降维技术，能够更好地保留数据的全局结构，相比 t-SNE、LargeVis 和 UMAP 等常用方法，它具有更快的运行时间和更好的簇相对位置，而且能够处理数百万个点。

    Oct, 2019

  • 不可解释的解释：解读 tSNE 和 UMAP 的嵌入

    研究在神经网络中应用降维方法 tSNE 和 UMAP 时出现的假设，证明 ARDR 算法一定会收敛并探讨如何从 2D 的表现推回模型的原输入分布。

    Jun, 2023

  • 降维作为概率推断

    本文提出了 ProbDR 变分框架，将许多经典的降维算法视为该框架下的概率推断算法。我们的框架利用低维潜变量构建协方差矩阵、精度矩阵或图拉普拉斯矩阵，这些矩阵可作为数据生成模型的一部分。利用此框架，我们可以更容易地处理未见数据，并且得到较为准确的高斯过程似然估计结果。

    Apr, 2023

  • ActUp：分析和合并 tSNE 和 UMAP

    本文通过对 tSNE 和 UMAP 算法中的参数空间进行理论和实证研究，发现仅有的一个参数 -- 规范化参数，可以在两个算法之间进行切换，而不会对嵌入产生任何影响。基于此，提出一种方法（ourmethod）结合 tSNE 和 UMAP 的技术，可以复制任一算法的结果，并在速度上取得更快的响应。

    May, 2023

  • GiDR-DUN; 梯度降维 —— 差异和统一

    本文提出了一种新的降维算法 GDR，该算法结合了 TSNE 和 UMAP 算法的优点，可以通过改变标准化参数来实现对两种算法结果的复制，并且优化速度相较于现有算法更快。

    Jun, 2022