本研究提出了一种名为 VR-PCA 的简单算法,使用计算成本低的随机迭代,能够指数级快速收敛至最优解,相较于现有算法,其收敛速度更快,而迭代时间随数据量的变化不大,适用于解决非凸问题。
Sep, 2014
本研究研究了流式主成分分析,并提出了 Oja 算法的全局收敛,同时提供了一个修改后的变体 Oja++,可以比 Oja 更快地运行。
Jul, 2016
本文针对主成分分析问题在流式随机场景中进行探讨和研究,给出了针对性的随机梯度下降算法,提供了最新的无需基于非平凡特征值间隙假设的收敛保证,并改进了在该假设下的优化算法保证效果。
Sep, 2015
本文将在线 PCA 转化为随机非凸优化问题,并将在线 PCA 算法分析为随机逼近迭代。在亚高斯假设下,我们证明了在线 PCA 算法的近乎最优有限样本误差界限,并且表明有限样本误差界限与极小信息下界紧密匹配。
Mar, 2016
本文研究了 VR-PCA 算法的收敛特性和优化问题的凸性和非凸性,证明了一些新的结果,包括该算法的块版本的形式分析和从随机初始化到收敛,还提出一些具有独立兴趣的观察,例如如何通过单一的准确幂迭代来预初始化可以显著提高随机方法的运行时间。
Jul, 2015
通过发现 Krasulina 和 Oja 的处理计算在线 k-PCA 问题的更新方案并考虑到梯度信息,并非一般使用 QR 分解进行迭代,而是采用基于概率的 EM 算法来进行处理,实验证明,这种方法比传统的算法更为稳定和快速。
Sep, 2019
本论文研究基于高维独立的高斯观测下,对总体协方差矩阵中的主要特征向量进行估计的问题。研究者们提出了一种基于坐标选择方案结合 PCA 的主要特征向量估计器,并证明了该估计器在稀疏条件下可以达到最优收敛速率。同时,也证明在某些情形下,通常的 PCA 可以达到最小最大收敛速率。
Feb, 2012
我们提出了一种基于随机方差减少优化算法的稀疏学习问题求解方法,该方法在满足一定条件下具有线性收敛保证和高维度下的最优估计精度。我们进一步将该算法扩展到一种异步并行版本,具有近似线性加速。数值实验表明,我们的算法在参数估计和计算性能方面都具有高效性。
May, 2016
本文提出了一种用于计算主要线性子空间的几何框架,并比较了 PCA 和 KPCA 的效率和性能。
Feb, 2017
通过矩阵分解和投影梯度下降算法解决约束最优化问题,提供了一种通用理论框架,当给定适当的初始化时,可以几何级数地收敛到具有统计意义的解,适用于许多具体模型。