有监督主成分分析的另一种算法：有监督线性质心编码器

Jun, 2023

有监督主成分分析的另一种算法：有监督线性质心编码器

Yet Another Algorithm for Supervised Principal Component Analysis: Supervised Linear Centroid-Encoder

Tomojit Ghosh, Michael Kirby

TL;DR本文提出了一种新的监督降维技术 —— 监督线性重心编码器（SLCE），通过线性变换将类别的样本映射到其类重心，重构出与其相应的样本点，从而使配对点间的距离最小化，相当于是一种监督型 PCA 方法。实验结果表明，该方法比其他监督方法的性能优越。

Abstract

We propose a new supervised dimensionality reduction technique called Supervised Linear Centroid-Encoder (SLCE), a linear counterpart of the nonlinear Centroid-Encoder (CE) \citep{ghosh2022supervised}. SLCE works by mapping the samples of a class to its class centroid using a linear tr

supervised dimensionality reduction linear transformation centroid-reconstruction loss eigendecomposition supervised pca

发现论文，激发创造

稀疏线性质心编码器：一种特征选择的凸方法

本研究提出了一种新颖的特征选择技术，称为稀疏线性质心编码器（SLCE），它使用线性变换重构点，同时使用 l1 范数惩罚去除输入数据中不必要的特征，并通过凸优化问题解决方案该问题。我们通过实证分析表明，SLCE 在各种数据集上促进了稀疏性。与某些基于神经网络的特征选择技术相比，SLCE 具有性能优势。

Jun, 2023

监督对比损失的神经坍缩几何工程

我们提出了一种修改对比损失函数来调整学习特征嵌入几何结构的方法，通过使用原型在每个批次中引导学习嵌入和原型的几何一致性，并在深度神经网络上基于基准视觉数据集进行了一系列实验证实。

Oct, 2023

学习增强的降维 K 均值聚类

使用主成分分析（PCA）降低数据集的维度，提高 k-means 算法在特定质心下的预测性能和降低成本。

Jan, 2024

低数据情况下基于 PCA 增强的自编码器用于非线性降维

提出了一种利用 PCA 和参数化的 ReLU 激活函数进行自编码器训练的方法，以解决非线性数据降维问题，特别是对于数据稀缺及昂贵的纳米光子学元件设计和其他科学领域的任务。

May, 2022

利用基于稀疏自适应瓶颈中心编码器的特征选择

本文提出一种新颖的非线性模型，Sparse Adaptive Bottleneck Centroid-Encoder（简称 SABCE），用于确定区分两个或更多类别之间特征的算法，并将其应用于各种实际数据集中，包括高维生物，图像，语音和加速度计传感器数据，经实验证明，SABCE 所提取的特征通常比其他方法产生更好的分类准确性，创造了新的最佳结果。

Jun, 2023

$σ$-PCA：线性和非线性主成分分析的统一神经模型

线性主成分分析、非线性主成分分析、线性独立成分分析、子空间不确定性和神经模型

Nov, 2023

PCAAE：主成分分析自编码器用于生成网络的潜空间组织

提出了一种新的自编码器（PCAAE），它能够无监督地将数据的内在属性分离成潜空间的不同组成部分，达到了解决深层生成模型中的潜变量空间问题的目的。与其他最先进的方法相比，PCAAE 的能力更好，在潜空间中解开属性的存在，实现了属性的分离。

Jun, 2020

通过最小体积压缩潜空间

该论文介绍了一种名为最小体积的简单而有效的正则化方法，它可以减少自动编码器所需的潜在维度数量，而无需任何关于数据集固有维度的先验知识。通过证明解码器的 Lipschitz 连续性是其有效性的关键，论文揭示了 PCA 仅是其线性特例的证明，并表明在应用于非线性模型时具有类似于 PCA 的重要性排序效果。作者通过在一些教学玩具问题上演示正则化的直观理解，并在包括 MNIST、CIFAR-10 和 CelebA 在内的几个基准问题上展示了其有效性。

Apr, 2024

改进的分布式主成分分析

本文研究具有多台服务器的分布式计算环境，通过开发 PCA 算法来处理点集的低维子空间问题，进而解决异常检测以及聚类等计算问题，提出的新算法显著降低了 $k$-means 聚类与相关问题的计算以及通讯成本，并且经过实验验证，在解决方案质量方面具有忽略不计的退化。

Aug, 2014

监督自编码神经网络潜空间配置的泛化改进

本文研究了自编码器的潜在空间（LS）属性，并提出了两种获得期望拓扑结构的 LS 配置方法。研究表明，利用几何损失项直接作用于 LS 的损失配置方法可以可靠地获得期望的 LS 配置，从而可以在 LS 中定义相似性度量来预测标签或估计多个输入的相似性，而无需使用解码器或分类器。研究还证明，使用所提出的方法训练的有监督自编码器在纹理分类方面表现良好，并且可以在没有微调的情况下很好地泛化到来自 LIP、Market1501 和 WildTrack 数据集的未见数据，甚至可以用于评估未见类的相似性。此外，通过跨数据集搜索和基于文本查询进行文本搜索的实验证明了预配置的 LS 相似性估计的优势，而无需使用语言模型。

Feb, 2024