通过 Procustes 重构实现正交稀疏 PCA 和协方差估计

Feb, 2016

通过 Procustes 重构实现正交稀疏 PCA 和协方差估计

Orthogonal Sparse PCA and Covariance Estimation via Procrustes Reformulation

Konstantinos Benidis, Ying Sun, Prabhu Babu, Daniel P. Palomar

TL;DR本文提出了一种不损失正交性的估计稀疏特征向量的方法，并运用 MM 框架和矩形 Procrustes 问题来解决高维数据中的非凸优化问题。同时，我们还提出了一种基于特征向量稀疏性的协方差估计算法，实验表明这些方法在支持恢复和解释方差方面比现有算法表现更好。

Abstract

The problem of estimating sparse eigenvectors of a symmetric matrix attracts a lot of attention in many applications, especially those with high dimensional data set. While classical eigenvectors can be obtained as the solution of a maximization problem, existing approaches formulate t

sparse eigenvectors orthogonality mm framework rectangular procrustes problem covariance estimation

发现论文，激发创造

高维数据的增强稀疏主成分分析

本论文研究基于高维独立的高斯观测下，对总体协方差矩阵中的主要特征向量进行估计的问题。研究者们提出了一种基于坐标选择方案结合 PCA 的主要特征向量估计器，并证明了该估计器在稀疏条件下可以达到最优收敛速率。同时，也证明在某些情形下，通常的 PCA 可以达到最小最大收敛速率。

Feb, 2012

稀疏主成分估计中的统计和计算折衷

通过研究计算复杂性理论，发现在满足一定限制的协方差集中条件下存在有效的样本大小范围，在此范围内无法有随机多项式时间算法达到最佳极小风险率；对著名的半定松弛估计方法的理论性能进行研究，揭示了统计效率和计算效率之间微妙的相互作用，此方法为多维数据稀疏主成分分析提供了一种解决方案。

Aug, 2014

一种新的 M - 估计器用于鲁棒主成分分析

研究了鲁棒子空间恢复的基本问题，通过解决凸最小化过程来估计 “鲁棒逆样本协方差”，然后通过此矩阵的底部特征向量（其数量对应于接近 0 的特征值的数量）恢复子空间。我们保证在某些条件下精确恢复子空间，同时提出了一种快速迭代算法，可线性收敛到最小化凸问题的矩阵。我们对噪声和正则化的影响进行了量化，并在各种设置中讨论了许多实际和理论问题，以改善子空间恢复。与许多其他鲁棒 PCA 算法相比，在合成和实际数据集上进行了比较，并证明具有最先进的速度和准确度。

Dec, 2011

利用半正定规划对稀疏 PCA 进行直接求解

研究在 Frobenius-norm 意义下，将正半定对称矩阵近似为一个秩为一的矩阵，其特征向量的基数有一个上限的问题以及其在协方差矩阵分解到稀疏因子等领域中的应用，提出了一个基于半定规划的方法，并讲解了 Nesterov's 平滑最小化技术在直接稀疏 PCA 方法中的应用。

Jun, 2004

稀疏主成分分析的增广拉格朗日方法

本研究提出了一种新的稀疏 PCA 方法，旨在找到稀疏和几乎不相关的主成分，并具有正交的载荷向量，同时尽可能多地解释总方差。我们还开发了一种新的增广 Lagrangian 方法来解决一类非光滑约束优化问题，该方法非常适合我们的稀疏 PCA 公式。最后，我们将我们的稀疏 PCA 方法与其他方法在合成数据，随机数据和真实数据上进行比较。计算结果表明，我们的方法产生的稀疏主成分在总方差，主成分相关性和载荷向量的正交性等方面显着优于其他方法。

Jul, 2009

稀疏主成分分析在高维带噪数据下的极小极大界

本文研究了基于独立的高斯观测量对高维种群协方差矩阵的主导特征向量的估计问题，建立了 $l_2$ 损失下估计量最小风险的极小界，并提出了一种新的二阶段坐标选择方案的特征向量估计方法。

Mar, 2012

非凸统计优化：多项式时间下的极小极大稀疏 PCA

提出一个名为 'tighten after relax' 的两阶段计算框架，其中第一阶段使用建议的凸松弛方法进行近似求解，第二阶段则通过直接求解基础非凸问题的新算法'sparse orthogonal iteration pursuit' 来迭代优化初始估计值，并证明该框架的稳定性和最优性在特定模型类别下成立。

Aug, 2014

具有多个分量的稀疏 PCA

本研究提出一种新的方法，通过将正交性条件重新表述为秩约束，并同时优化稀疏性和秩约束，使得稀疏主成分分析问题更易解决。通过设计合理的半定松弛和可行的二阶锥不等式，本文的方法在实际数据集中可以获得最优解，并且相比现有方法具有更好的性能。

Sep, 2022

稀疏主成分的半定松弛高维分析

本文研究了高维 PCA 问题，通过添加 $k$-sparse 最大特征向量来扰动协方差矩阵，并分析了两种可计算的最大特征向量恢复方法：一种是简单的对角线阈值法，另一种是复杂的半定规划 (SDP) 松弛法，研究结果突出高维推断中计算与统计效率的权衡。

Mar, 2008

可伸缩的稀疏主成分分析

本文提出了一个针对估算稀疏鲁棒一维子空间的优化框架，通过最小化表示误差和惩罚来实现 l1 - 范数准则的优化。基于线性松弛方法，该算法在计算时间上具有最坏情况下的 O (n^2 m log n) 时间复杂度，并在某些情况下实现了稀疏鲁棒子空间的全局最优解，因此具有多项式时间效率。与现有方法相比，该算法能够找到具有最低不一致性的子空间，同时提供了稀疏性和拟合度之间更平滑的权衡。它的架构具有可伸缩性，对于 2000x2000 矩阵，计算速度相比 CPU 版本提高了 16 倍。此外，该方法独立于初始化，具有确定性和可复制性的优点。通过实际应用示例，证明了该算法在实现有意义的稀疏性方面的有效性，并强调其在各个领域中的精确和有用的应用。

Feb, 2024