Feb, 2024

可伸缩的稀疏主成分分析

PDF
TL;DR本文提出了一个针对估算稀疏鲁棒一维子空间的优化框架，通过最小化表示误差和惩罚来实现 l1 - 范数准则的优化。基于线性松弛方法，该算法在计算时间上具有最坏情况下的 O (n^2 m log n) 时间复杂度，并在某些情况下实现了稀疏鲁棒子空间的全局最优解，因此具有多项式时间效率。与现有方法相比，该算法能够找到具有最低不一致性的子空间，同时提供了稀疏性和拟合度之间更平滑的权衡。它的架构具有可伸缩性，对于 2000x2000 矩阵，计算速度相比 CPU 版本提高了 16 倍。此外，该方法独立于初始化，具有确定性和可复制性的优点。通过实际应用示例，证明了该算法在实现有意义的稀疏性方面的有效性，并强调其在各个领域中的精确和有用的应用。
发现论文，激发创造
  • 鲁棒主成分分析？

    本文介绍了一种名为主成分追踪的凸型优化方法，能在有噪声或缺损情况下准确分离一个 $ m * n $ 数据矩阵的低秩和稀疏成分，该方法有望应用于视频监控和人脸识别等领域。

    Dec, 2009

  • 稀疏主成分分析的最优解

    本论文提出了一种基于协方差矩阵的稀疏主成分分析方法，采用半正定松弛和贪心算法求解，可以适用于诸如子集选择和稀疏恢复等领域，并能在人工和生物数据等实验数据中提供全局最优解。

    Jul, 2007

  • 高维稀疏主成分的最优检测

    通过有限样本分析，我们提出了一个新的基于稀疏特征值统计量的极小化最佳检验方法，使用凸松弛的方法实现了有效性，并证明其接近于最优的检测水平。通过计算机模拟实验，我们证明了该方法在检测高维协方差矩阵的稀疏主成分方面的有效性。

    Feb, 2012

  • 稀疏主成分分析的增广拉格朗日方法

    本研究提出了一种新的稀疏 PCA 方法，旨在找到稀疏和几乎不相关的主成分，并具有正交的载荷向量，同时尽可能多地解释总方差。我们还开发了一种新的增广 Lagrangian 方法来解决一类非光滑约束优化问题，该方法非常适合我们的稀疏 PCA 公式。最后，我们将我们的稀疏 PCA 方法与其他方法在合成数据，随机数据和真实数据上进行比较。计算结果表明，我们的方法产生的稀疏主成分在总方差，主成分相关性和载荷向量的正交性等方面显着优于其他方法。

    Jul, 2009

  • 具有多个分量的稀疏 PCA

    本研究提出一种新的方法，通过将正交性条件重新表述为秩约束，并同时优化稀疏性和秩约束，使得稀疏主成分分析问题更易解决。通过设计合理的半定松弛和可行的二阶锥不等式，本文的方法在实际数据集中可以获得最优解，并且相比现有方法具有更好的性能。

    Sep, 2022

  • 鲁棒主成分分析及其变体的高效优化算法

    该论文回顾了现有的优化方法来解决鲁棒 PCA 及其变体。论文讨论了这些方法的优缺点和收敛性，并提出了一些面向多处理器环境下解决大规模问题的新算法框架的可能研究方向。

    Jun, 2018

  • 稀疏主成分分析：最优速率和自适应估计

    本文考虑了高维情况下主成分子空间的极小值估计和自适应估计，并利用聚合构建了速率最优估计器。同时介绍了一种通过降维来对稀疏主成分分析问题求解的方法。

    Nov, 2012

  • 解决大规模稀疏 PCA 至可证明（近似）最优

    通过将稀疏主成分分析重新制定为凸混合整数半定规划问题，并设计一个切平面方法，该方法可以以确切的最优性选择 5 个协变量从 300 个变量并能在更大范围内提供小的界限间隙。我们还提出了一种凸松弛和贪心舍入方案，可在几分钟内提供 1-2％的绑定间隙，使其成为规模上的可行替代方法。使用真实的金融和医疗数据集，我们展示了我们的方法在可解释性和易于计算的情况下，在不同范围内可行性的能力。

    May, 2020

  • 高维数据的增强稀疏主成分分析

    本论文研究基于高维独立的高斯观测下，对总体协方差矩阵中的主要特征向量进行估计的问题。研究者们提出了一种基于坐标选择方案结合 PCA 的主要特征向量估计器，并证明了该估计器在稀疏条件下可以达到最优收敛速率。同时，也证明在某些情形下，通常的 PCA 可以达到最小最大收敛速率。

    Feb, 2012

  • 稀疏主成分估计中的统计和计算折衷

    通过研究计算复杂性理论，发现在满足一定限制的协方差集中条件下存在有效的样本大小范围，在此范围内无法有随机多项式时间算法达到最佳极小风险率；对著名的半定松弛估计方法的理论性能进行研究，揭示了统计效率和计算效率之间微妙的相互作用，此方法为多维数据稀疏主成分分析提供了一种解决方案。

    Aug, 2014