Sep, 2019

Krasulina 的 k-PCA 隐式更新形式（无正交性约束）

PDF
TL;DR通过发现 Krasulina 和 Oja 的处理计算在线 k-PCA 问题的更新方案并考虑到梯度信息，并非一般使用 QR 分解进行迭代，而是采用基于概率的 EM 算法来进行处理，实验证明，这种方法比传统的算法更为稳定和快速。
发现论文，激发创造
  • 不带方差减少的指数收敛随机 k-PCA

    我们提出了矩阵 Krasulina 算法，通过将经典的 Krasulina 方法从向量推广到矩阵情况，实现了在线 k-PCA，并展示了算法在自然适应数据低秩性，并收敛至地面真实主子空间，表明在本质上的低秩数据问题上，仅仅采用 SGD 变体就足以实现指数收敛。

    Apr, 2019

  • 在 Stiefel 流形上进行优化的约束保持更新方案框架

    该研究提出了在 Stiefel 流形上优化问题的约束保持更新框架，并使用低复杂度的成本发现了一种新的更新方案。通过自适应非单调线性搜索确定该方法的全局收敛性， 数值测试表明这种框架适用于最近的低秩相关矩阵问题，Kohn-Sham 总能量最小化及统计学中的特殊问题。

    Jan, 2013

  • 流式 k-PCA 的第一个高效收敛：全局无间隙，近乎最优速率

    本研究研究了流式主成分分析，并提出了 Oja 算法的全局收敛，同时提供了一个修改后的变体 Oja++，可以比 Oja 更快地运行。

    Jul, 2016

  • 随机梯度下降法在 PCA 中的收敛性

    本文针对主成分分析问题在流式随机场景中进行探讨和研究，给出了针对性的随机梯度下降算法，提供了最新的无需基于非平凡特征值间隙假设的收敛保证，并改进了在该假设下的优化算法保证效果。

    Sep, 2015

  • 在线线性、鲁棒和非线性子空间学习的内在 Grassmann 平均值

    本文提出了一种用于计算主要线性子空间的几何框架，并比较了 PCA 和 KPCA 的效率和性能。

    Feb, 2017

  • 在线主成分估计和全局收敛的扩散近似

    本文提出采用扩散近似工具研究 Oja 迭代的动态特性，它是一种用于数据流中的在线随机梯度下降方法。我们使用扩散近似和弱收敛工具将 Oja 迭代特征为三个阶段，进而为其提供有限样本误差界限。

    Aug, 2018

  • 增量型 PCA 的快速收敛

    本研究针对在已知分布均值为零和未知协方差的情况下，使用增量算法以 O (d) 空间复杂度计算顶部特征向量，对 Krasulina 和 Oja 的两种传统方案进行了有限样本收敛率分析。

    Jan, 2015

  • 流式 PCA：匹配矩阵伯恩斯坦和 Oja 算法的几乎最优有限样本保证

    该研究提出了一个对流式主成分分析（PCA）有改进保证的线性时间算法，该算法可以在常数精度下估计协方差矩阵的前几个特征向量。该算法通过一种新颖的 Oja 算法分析方法实现。

    Feb, 2016

  • 利用 L0 替代方法从不完整观测中实现鲁棒 PCA 和子空间跟踪

    提出一种基于 Grassmannian 的内置共轭梯度方法，可以从不完整和受损观测中重构和跟踪上限维度的子空间，用于处理数据分析中的低秩矩阵和稀疏组件，采用非凸稀疏度量进行异常点检测，性能优于其他最先进的方法。

    Oct, 2012

  • 高维稀疏 PCA 的在线学习：精确动态和相变

    研究基于在线 PCA 和逐元素非线性的算法对于稀疏主特征向量的学习，证明其在高维极限下收敛于确定性的，尺度测度过程，同时证明在稀疏支持恢复中有良好的表现，并通过非线性 PDE 的稳态分析揭示了有趣的相变现象。

    Sep, 2016