生成主成分分析
本论文研究基于高维独立的高斯观测下,对总体协方差矩阵中的主要特征向量进行估计的问题。研究者们提出了一种基于坐标选择方案结合 PCA 的主要特征向量估计器,并证明了该估计器在稀疏条件下可以达到最优收敛速率。同时,也证明在某些情形下,通常的 PCA 可以达到最小最大收敛速率。
Feb, 2012
本文针对任意阶数的大型张量,从信息论和概率论角度出发,讨论了单峰(或秩一加噪声)模型下的主成分分析问题。并使用张量展开、幂迭代和信息传递等多项式时间估算算法分析了这一问题的可行性,阐述了张量幂迭代的初期化和运用附加侧信息推导良好估算的条件。
Nov, 2014
通过生成模型替换稀疏性假设,研究了低秩矩阵观测到的带有稀疏结构的峰值问题,并使用随机矩阵理论分析了增强的谱算法的性能和阈值,展示其在真实数据集中优于传统的主成分分析。
May, 2019
本文研究了主成分分析中,如果利用附加到主向量的信息,能否使得任务更容易并提高准确性。在正协方差约束条件下,该文在一峰模型下开发了相似的特征,证明了估计误差也存在相似的相变现象,并且展示在几乎线性时间内如何近似计算非负主成分。
Jun, 2014
本文介绍了一种计算正半定矩阵的 k - 稀疏主成分的新算法,其通过查看低维度特征子空间中的一组离散特殊向量来实现。该算法的近似保证取决于其特征值分布,这使得其能够在多项式时间内对任意精度进行近似计算,同时几乎能够匹配或优于之前算法在所有测试数据集上的表现。
Mar, 2013
通过研究计算复杂性理论,发现在满足一定限制的协方差集中条件下存在有效的样本大小范围,在此范围内无法有随机多项式时间算法达到最佳极小风险率;对著名的半定松弛估计方法的理论性能进行研究,揭示了统计效率和计算效率之间微妙的相互作用,此方法为多维数据稀疏主成分分析提供了一种解决方案。
Aug, 2014
我们提出了一种简单的变种 Power Iteration 方法,使用动量项,既实现了最优的 PCA 速率和迭代复杂度,也适用于随机数据集,并利用现代方差缩减技术,加速了很多非凸优化问题。
Jul, 2017
本文研究了高维 PCA 问题,通过添加 $k$-sparse 最大特征向量来扰动协方差矩阵,并分析了两种可计算的最大特征向量恢复方法:一种是简单的对角线阈值法,另一种是复杂的半定规划 (SDP) 松弛法,研究结果突出高维推断中计算与统计效率的权衡。
Mar, 2008
本文研究了噪声幂法算法在机器学习和统计学中的应用,特别是在资源(通信,存储或隐私)约束下针对主成分分析(PCA)。通过对噪声幂法进行新的分析,改进了其样本复杂度和噪声容忍度,特别是将其依赖性从 “连续” 的谱差转移到 “中间算法参数” 与目标秩之差,得到了优于文献中现有结果的界限。最后将该算法应用于分布式隐私 PCA 和内存高效数据流 PCA 方面的问题,并获得了优于现有文献结果的界限。
Feb, 2016