信息论上最优稀疏主成分分析
本研究提出了一种新的稀疏 PCA 方法,旨在找到稀疏和几乎不相关的主成分,并具有正交的载荷向量,同时尽可能多地解释总方差。我们还开发了一种新的增广 Lagrangian 方法来解决一类非光滑约束优化问题,该方法非常适合我们的稀疏 PCA 公式。最后,我们将我们的稀疏 PCA 方法与其他方法在合成数据,随机数据和真实数据上进行比较。计算结果表明,我们的方法产生的稀疏主成分在总方差,主成分相关性和载荷向量的正交性等方面显着优于其他方法。
Jul, 2009
本文针对特征数比样本个数大的情况,提出了一种新的迭代阈值方法,用于估计主成分空间,这种方法在高维稀疏场景下实现了主成分空间和主要特征向量的一致恢复和最优恢复。模拟实例也证明了其具有竞争性的性能。
Dec, 2011
本研究提出一种新的方法,通过将正交性条件重新表述为秩约束,并同时优化稀疏性和秩约束,使得稀疏主成分分析问题更易解决。通过设计合理的半定松弛和可行的二阶锥不等式,本文的方法在实际数据集中可以获得最优解,并且相比现有方法具有更好的性能。
Sep, 2022
通过研究计算复杂性理论,发现在满足一定限制的协方差集中条件下存在有效的样本大小范围,在此范围内无法有随机多项式时间算法达到最佳极小风险率;对著名的半定松弛估计方法的理论性能进行研究,揭示了统计效率和计算效率之间微妙的相互作用,此方法为多维数据稀疏主成分分析提供了一种解决方案。
Aug, 2014
本文研究了主成分分析中,如果利用附加到主向量的信息,能否使得任务更容易并提高准确性。在正协方差约束条件下,该文在一峰模型下开发了相似的特征,证明了估计误差也存在相似的相变现象,并且展示在几乎线性时间内如何近似计算非负主成分。
Jun, 2014
通过研究 Le Cam 的连续性,我们探讨了用于检测稀疏向量存在的测试的统计极限,包括非光谱测试,并证明了对于高斯 Wishart 集合,PCA 阈值对于正向 spikes(自然先验)是最佳的,但这并不总是负向 spikes 的情况。
Jul, 2018
本论文研究基于高维独立的高斯观测下,对总体协方差矩阵中的主要特征向量进行估计的问题。研究者们提出了一种基于坐标选择方案结合 PCA 的主要特征向量估计器,并证明了该估计器在稀疏条件下可以达到最优收敛速率。同时,也证明在某些情形下,通常的 PCA 可以达到最小最大收敛速率。
Feb, 2012