Sep, 2023

惩罚主成分析中的 Nesterov 平滑

PDF
TL;DR我们在这篇论文中通过应用 Nesterov 平滑到 LASSO-type L1 惩罚上，扩展了 PEP，以更快、更高效地最小化与优化问题相关的目标函数；我们还展示了如何使用奇异值分解的已建立结果来计算更高级的特征向量；最后，通过使用 1000 个基因组计划数据集的实证研究，我们证明了我们提出的平滑 PEP 可以提高数值稳定性并获得有意义的特征向量，我们进一步研究了与传统 PCA 相比，惩罚特征向量方法的效用。
principal component analysispenalized eigenvalue problemnesterov smoothingsingular value decompositionnumerical stability
发现论文，激发创造
  • 基于平滑优化的稀疏广义特征值问题

    为了发现矩阵对的稀疏广义特征向量，提出了一种基于连续代理函数和二次可分离函数的优化算法，并通过平滑技术处理了奇异性问题和特别结构的情况，相较于先前算法更有效。

    Aug, 2014

  • 高维数据的增强稀疏主成分分析

    本论文研究基于高维独立的高斯观测下，对总体协方差矩阵中的主要特征向量进行估计的问题。研究者们提出了一种基于坐标选择方案结合 PCA 的主要特征向量估计器，并证明了该估计器在稀疏条件下可以达到最优收敛速率。同时，也证明在某些情形下，通常的 PCA 可以达到最小最大收敛速率。

    Feb, 2012

  • 稀疏主成分分析的增广拉格朗日方法

    本研究提出了一种新的稀疏 PCA 方法，旨在找到稀疏和几乎不相关的主成分，并具有正交的载荷向量，同时尽可能多地解释总方差。我们还开发了一种新的增广 Lagrangian 方法来解决一类非光滑约束优化问题，该方法非常适合我们的稀疏 PCA 公式。最后，我们将我们的稀疏 PCA 方法与其他方法在合成数据，随机数据和真实数据上进行比较。计算结果表明，我们的方法产生的稀疏主成分在总方差，主成分相关性和载荷向量的正交性等方面显着优于其他方法。

    Jul, 2009

  • 稀疏主成分的半定松弛高维分析

    本文研究了高维 PCA 问题，通过添加 $k$-sparse 最大特征向量来扰动协方差矩阵，并分析了两种可计算的最大特征向量恢复方法：一种是简单的对角线阈值法，另一种是复杂的半定规划 (SDP) 松弛法，研究结果突出高维推断中计算与统计效率的权衡。

    Mar, 2008

  • 稀疏主成分估计中的统计和计算折衷

    通过研究计算复杂性理论，发现在满足一定限制的协方差集中条件下存在有效的样本大小范围，在此范围内无法有随机多项式时间算法达到最佳极小风险率；对著名的半定松弛估计方法的理论性能进行研究，揭示了统计效率和计算效率之间微妙的相互作用，此方法为多维数据稀疏主成分分析提供了一种解决方案。

    Aug, 2014

  • 稀疏主成分分析和迭代阈值法

    本文针对特征数比样本个数大的情况，提出了一种新的迭代阈值方法，用于估计主成分空间，这种方法在高维稀疏场景下实现了主成分空间和主要特征向量的一致恢复和最优恢复。模拟实例也证明了其具有竞争性的性能。

    Dec, 2011

  • 通过凸优化实现快速简易的 PCA

    本文介绍了一种基于凸优化和随机方法的新的高效 PCA 方法，该方法能够在很短的时间内计算出一个给定矩阵的主成分，并且在一定参数范围内实现了迄今最快的计算速度。

    Sep, 2015

  • 非负主成分分析：消息传递算法和尖锐渐近

    本文研究了主成分分析中，如果利用附加到主向量的信息，能否使得任务更容易并提高准确性。在正协方差约束条件下，该文在一峰模型下开发了相似的特征，证明了估计误差也存在相似的相变现象，并且展示在几乎线性时间内如何近似计算非负主成分。

    Jun, 2014

  • 广义特征值问题作为纳什均衡

    本文提出了一个利用博弈理论建立广义特征值问题的 Top-k 模型，并给出了一种可并行化的算法，该算法的渐近收敛性能可达纳什平衡，在高维数据集上的计算复杂度为 O (dk)。研究表明该算法可以解决神经网络激活等种类的广义特征值问题实例。

    Jun, 2022

  • 稀疏主成分分析

    使用稀疏 PCA 算法，选择最大方差的坐标子集，估计特征向量并在原始基础上重新表达，在适当的稀疏性假设下，实现一元模型的一致性估计。

    Jan, 2009