Nov, 2009

高维低样本量背景下 PCA 的一致性

PDF
TL;DR研究 PCA 在高维，低样本大小的情况下的渐近行为，发现在一些充分的条件下，估计的 PC 方向是一致的，其他的方向强不一致，而这些条件在主定理中指定。
发现论文，激发创造
  • 稀疏主成分分析

    使用稀疏 PCA 算法，选择最大方差的坐标子集，估计特征向量并在原始基础上重新表达，在适当的稀疏性假设下，实现一元模型的一致性估计。

    Jan, 2009

  • 高维异方差数据 PCA 的渐近性能

    本文分析了高维数据降维方法主成分分析 (PCA) 在异方差噪声干扰下的表现，并通过简化的表达式提供了计算 PCA 成功从噪声数据中恢复样本真实的子空间和子空间系数的方法，证明了在固定平均噪声方差的情况下，异方差噪声下 PCA 的表现总是低于同方差噪声下 PCA 的表现。

    Mar, 2017

  • 受污染数据下的主成分分析：高维情况

    该研究探讨了高维数据降维中的异常值问题，提出了一种可应用核函数的高维稳健主成分分析算法，该算法最大化稳健性，并实现了在异常值比例为零时的最优结果。

    Feb, 2010

  • 稀疏主成分分析和迭代阈值法

    本文针对特征数比样本个数大的情况，提出了一种新的迭代阈值方法，用于估计主成分空间，这种方法在高维稀疏场景下实现了主成分空间和主要特征向量的一致恢复和最优恢复。模拟实例也证明了其具有竞争性的性能。

    Dec, 2011

  • 改进的分布式主成分分析

    本文研究具有多台服务器的分布式计算环境，通过开发 PCA 算法来处理点集的低维子空间问题，进而解决异常检测以及聚类等计算问题，提出的新算法显著降低了 $k$-means 聚类与相关问题的计算以及通讯成本，并且经过实验验证，在解决方案质量方面具有忽略不计的退化。

    Aug, 2014

  • 大规模高维数据的单次 PCA

    本文提出了一种基于单次随机算法的主成分分析法，适用于处理极大和高维度的数据，并且具有小的计算误差和低的存储成本。

    Apr, 2017

  • 稀疏主成分分析的增广拉格朗日方法

    本研究提出了一种新的稀疏 PCA 方法，旨在找到稀疏和几乎不相关的主成分，并具有正交的载荷向量，同时尽可能多地解释总方差。我们还开发了一种新的增广 Lagrangian 方法来解决一类非光滑约束优化问题，该方法非常适合我们的稀疏 PCA 公式。最后，我们将我们的稀疏 PCA 方法与其他方法在合成数据，随机数据和真实数据上进行比较。计算结果表明，我们的方法产生的稀疏主成分在总方差，主成分相关性和载荷向量的正交性等方面显着优于其他方法。

    Jul, 2009

  • 稀疏主成分的半定松弛高维分析

    本文研究了高维 PCA 问题，通过添加 $k$-sparse 最大特征向量来扰动协方差矩阵，并分析了两种可计算的最大特征向量恢复方法：一种是简单的对角线阈值法，另一种是复杂的半定规划 (SDP) 松弛法，研究结果突出高维推断中计算与统计效率的权衡。

    Mar, 2008

  • 主成分分析的有限样本逼近结果：矩阵扰动方法

    研究如何使用矩阵摄动方法，研究 PCA 在有限样本下的特征值与特征向量与极限样本 PCA 之间的关系，证明了在有 “spiked covariance model” 时，样本 PCA 和极限样本 PCA 之间的接近性，进而将研究重点转移到有限维的 PCA 中并解释了转换点现象和特征向量丢失追踪的现象。

    Jan, 2009

  • 具有多个分量的稀疏 PCA

    本研究提出一种新的方法，通过将正交性条件重新表述为秩约束，并同时优化稀疏性和秩约束，使得稀疏主成分分析问题更易解决。通过设计合理的半定松弛和可行的二阶锥不等式，本文的方法在实际数据集中可以获得最优解，并且相比现有方法具有更好的性能。

    Sep, 2022