我们提出了一个分析在线学习算法确切动态的框架，重点关注高维缩放限制条件下的算法表现并应用到在线正则化线性回归和主成分分析两个具体例子。随着环境维度趋向于无穷大，我们表明：由算法提供的目标特征向量和其估计的时间变化联合经验测量将弱收敛于确定性测量值过程，可被视为非线性 PDE 唯一解的特征。

Dec, 2017

本论文使用非线性 PDE 研究了高维限制下在线算法的性能表现和最优化措施，并提出了利用随机梯度下降解决 1D Minimization 问题的新算法。

Oct, 2017

探讨了通过简单的 Hebbian 学习算法分离高维数据集中的非高斯分量的情况，介绍了该算法适用于学习 Stiefel 流形的自然梯度变体，并研究了大输入维度下两种算法的参数轨迹。

Sep, 2003

本文将在线 PCA 转化为随机非凸优化问题，并将在线 PCA 算法分析为随机逼近迭代。在亚高斯假设下，我们证明了在线 PCA 算法的近乎最优有限样本误差界限，并且表明有限样本误差界限与极小信息下界紧密匹配。

Mar, 2016

研究如何使用矩阵摄动方法，研究 PCA 在有限样本下的特征值与特征向量与极限样本 PCA 之间的关系，证明了在有 “spiked covariance model” 时，样本 PCA 和极限样本 PCA 之间的接近性，进而将研究重点转移到有限维的 PCA 中并解释了转换点现象和特征向量丢失追踪的现象。

Jan, 2009

本文研究了高维 PCA 问题，通过添加 $k$-sparse 最大特征向量来扰动协方差矩阵，并分析了两种可计算的最大特征向量恢复方法：一种是简单的对角线阈值法，另一种是复杂的半定规划 (SDP) 松弛法，研究结果突出高维推断中计算与统计效率的权衡。

Mar, 2008

本文提出采用扩散近似工具研究 Oja 迭代的动态特性，它是一种用于数据流中的在线随机梯度下降方法。我们使用扩散近似和弱收敛工具将 Oja 迭代特征为三个阶段，进而为其提供有限样本误差界限。

Aug, 2018

该论文提出了两种混合整数 SDP，用于优化选择主子矩阵的最大特征值，进一步分析和证明了它们的理论最优性差距优于现有技术，然后解决了在解决 MISDP 时存在的计算难题，同时提出了近似算法和 MILP 模型，有效地解决了规模问题，最后将其扩展到非对称矩阵和多个协方差矩阵的情况。

Aug, 2020

该研究提出了一个对流式主成分分析（PCA）有改进保证的线性时间算法，该算法可以在常数精度下估计协方差矩阵的前几个特征向量。该算法通过一种新颖的 Oja 算法分析方法实现。

Feb, 2016

稀疏主成分分析 (Sparse Principal Component Analysis, PCA) 的问题，当比率 $d/n ightarrow c > 0$ 时进行研究。针对在线优化问题，我们提出一种简单的算法，通过阈值和重新归一化 Oja 算法的输出 (即 Oja 向量)，获得接近最优的误差率。这是非常令人惊讶的，因为没有阈值时，Oja 向量存在很大的误差。我们的分析主要围绕未归一化 Oja 向量的元素进行界定，其中涉及到独立随机矩阵乘积在随机初始向量上的投影，这是非常复杂且新颖的，因为对 Oja 算法和矩阵乘积的先前分析是在限制了总体协方差矩阵的迹的情况下进行的，而在我们的情境中，这个量可以达到 $n$ 的大小。

Feb, 2024