孪生学习进行降维

Oct, 2021

TLDR: Twin Learning for Dimensionality Reduction

Yannis Kalantidis, Carlos Lassance, Jon Almazan, Diane Larlus

TL;DR本文提出了 TLDR，一种利用自监督学习框架的简单、易于训练并具有广泛适用性的降维方法，通过使用最近邻并引入冗余减少损失来学习变换表示。该方法专注于提高线性降维，在图像和文档检索任务中表现出稳定的优化效果。

Abstract

dimensionality reduction methods are unsupervised approaches which learn low-dimensional spaces where some properties of the initial space, typically the notion of "neighborhood", are preserved. Such methods usually require propagation on large k-NN graphs or complicated optimization s

dimensionality reduction self-supervised learning nearest neighbors redundancy reduction loss linear dimensionality reduction

发现论文，激发创造

降维的本地解释

介绍一种称为 LXDR 的技术，可以为 DR 技术的输出提供本地解释，以解决 DR 技术通常难以解释的问题，并通过实验结果和两个 LXDR 使用案例来评估其实用性。

Apr, 2022

朝向适合 K 均值算法的空间：同时进行深度学习与聚类

本文提出了一种利用深度神经网络实现联合降维和 K-means 聚类的方法，通过学习非线性函数的深度神经网络，以期获得更好的聚类和降维效果。

Oct, 2016

降维作为概率推断

本文提出了 ProbDR 变分框架，将许多经典的降维算法视为该框架下的概率推断算法。我们的框架利用低维潜变量构建协方差矩阵、精度矩阵或图拉普拉斯矩阵，这些矩阵可作为数据生成模型的一部分。利用此框架，我们可以更容易地处理未见数据，并且得到较为准确的高斯过程似然估计结果。

Apr, 2023

数据维度缩减提高机器学习算法效率

本文提出数据维数减少的方法，其中应用了 PCA 和 Auto-encoders 算法，并结合监督学习和无监督学习算法来验证在预处理 DDR 方面的准确性和时间效果。实验证明，预处理不仅能提高算法精度，也能提高时间效率，从而实现大规模精度和时间节省的目标。

Nov, 2022

RdimKD: 通过降维进行通用蒸馏范式

这篇研究提出了一种新的知识蒸馏范式，称为维度降低知识蒸馏（RdimKD），通过使用一个投影矩阵将大网络和小网络的特征图投影到低维子空间，并在训练过程中进行优化，既保证学生从老师获取有价值信息，又灵活适应学生的低容量实际情况。实证研究表明 RdimKD 在各种学习任务和不同网络架构中具有有效性。

Dec, 2023

对比潜变量模型的无监督学习

本文提出了一种基于概率模型的降维方法，通过在目标数据集和背景数据集之间寻找信号富集的模式，能够恢复目标数据集中潜在空间中的有趣结构，并可应用于去噪、特征选择和子组发现等领域。

Nov, 2018

高维数据降维的层次最近邻图嵌入方法

提出了一种基于层次结构的 1 - 最近邻图的新方法，可以在保留数据分布多个级别的分组属性的同时，实现具有可解释机制、可视化品质高、运行速度快且可用于多种场景的非监督降维技术，并在不同规模、不同维度的多个数据集上进行了性能比较。

Mar, 2022

学习增强的降维 K 均值聚类

使用主成分分析（PCA）降低数据集的维度，提高 k-means 算法在特定质心下的预测性能和降低成本。

Jan, 2024

巴洛双胞胎：基于冗余减少的自监督学习

提出了一种名为 Barlow Twins 的自监督学习方法，通过在两个相同的网络中输入扭曲版本的样本并测量它们输出的相关性矩阵，使嵌入向量在保持相似性的同时最小化它们之间的冗余。该方法在低数据范围内的半监督分类上优于以前的方法，并对于使用线性分类器头部的 ImageNet 分类和分类与目标检测的转移任务与当前最先进的方法相媲美。

Mar, 2021

深度神经网络的表示距离学习

该研究提出了一种称为 “代表空间距离学习” 的方法，该方法可用于将一种深度神经网络模型学习到的内部表现空间应用到另一种模型之中，通过该方法可将学生模型的表现空间序列逐步拟合为更接近于教师模型表现空间的序列。通过将学生模型的表现空间逐渐接近于教师模型的表现空间，使用该方法可以显著提高可视化分类性能。未来该方法可以应用于将深度神经网络的任务约束和生物大脑的约束相结合，从而构建出可以复制生物大脑内部表现空间的深度神经网络模型。

Nov, 2015