不可解释的解释:解读 tSNE 和 UMAP 的嵌入
本研究介绍了邻居嵌入算法族,针对不同的连续流形结构和离散聚类结构之间的权衡关系,以 $t-SNE$ 为例,通过夸张参数来调节吸引力与排斥力之间的平衡,得到了一系列的嵌入,UMAP 算法通过负采样策略降低有效排斥,较高的吸引力偏重于表达连续流形结构,而较高的排斥力偏重于表达离散聚类结构,邻居嵌入算法族可以被放置在这个平衡的关系上,探讨常见的算法在这个关系上的位置。
Jul, 2020
本文旨在深入探讨降维方法中保留局部和全局结构的重要性,针对保留局部结构提出了一些新的设计原则,并发掘出保留哪些部分对于保持全局结构的重要性,在此基础上提出一种新的降维算法 PaCMAP,该算法同时保留了局部和全局结构,并为构建降维算法时提供了一些出乎意料的设计选择报告。
Dec, 2020
本文通过对 tSNE 和 UMAP 算法中的参数空间进行理论和实证研究,发现仅有的一个参数 -- 规范化参数,可以在两个算法之间进行切换,而不会对嵌入产生任何影响。基于此,提出一种方法(ourmethod)结合 tSNE 和 UMAP 的技术,可以复制任一算法的结果,并在速度上取得更快的响应。
May, 2023
该论文表明降维方法 UMAP 和 t-SNE 可以近似重构为与 ProbDR 中引入的广义 Wishart 模型对应的 MAP 推断方法,这种解释不仅可以提供对这些算法更深入的理论洞察,还引入了研究类似降维方法的工具。
May, 2024
本研究针对 UMAP 在高维数据可视化方面超越 t-SNE 等方法的原因进行了详细调查,并推导出了 UMAP 的有效损失函数,发现它不同于已发表的损失函数。我们认为 UMAP 的成功关键在于其负采样实现的引力和斥力的平衡,并通过梯度下降法进行优化,这在玩具和单细胞 RNA 测序数据上得到了验证。
Mar, 2021
UMAP 是一种基于黎曼几何和代数拓扑的流形学习技术,可以作为机器学习中通用的降维算法,具有与 t-SNE 相当的可视化质量和更好的整体结构保留能力,并且没有关于嵌入维度的计算限制。
Feb, 2018
提出了一种基于层次结构的 1 - 最近邻图的新方法,可以在保留数据分布多个级别的分组属性的同时,实现具有可解释机制、可视化品质高、运行速度快且可用于多种场景的非监督降维技术,并在不同规模、不同维度的多个数据集上进行了性能比较。
Mar, 2022
我们提出了两个互补的、方向感知的损失项,用于优化 t-SNE 的目标函数,强调数据的时间属性,指导优化和生成的嵌入结果,以显示出可能被忽略的时间模式。通过促进定向边的局部方向性,我们的方法产生了更具有时间意义且不那么混乱的可视化结果。
Mar, 2024
本文提出了一种新的降维算法 GDR,该算法结合了 TSNE 和 UMAP 算法的优点,可以通过改变标准化参数来实现对两种算法结果的复制,并且优化速度相较于现有算法更快。
Jun, 2022
本文对 t-SNE 算法的理论框架进行了研究,在梯度下降法的基础上提出了一种新的理论框架;对于 t-SNE 的 embedding 阶段,文中还对其低维映射的运动学进行了表征和说明。通过本文,我们发现了 t-SNE 的内在机制并说明其在可视化聚类数据方面具有非凡的实用性。
May, 2021