我们提出了一个分析在线学习算法确切动态的框架，重点关注高维缩放限制条件下的算法表现并应用到在线正则化线性回归和主成分分析两个具体例子。随着环境维度趋向于无穷大，我们表明：由算法提供的目标特征向量和其估计的时间变化联合经验测量将弱收敛于确定性测量值过程，可被视为非线性 PDE 唯一解的特征。

Dec, 2017

探讨了通过简单的 Hebbian 学习算法分离高维数据集中的非高斯分量的情况，介绍了该算法适用于学习 Stiefel 流形的自然梯度变体，并研究了大输入维度下两种算法的参数轨迹。

Sep, 2003

研究基于在线 PCA 和逐元素非线性的算法对于稀疏主特征向量的学习，证明其在高维极限下收敛于确定性的，尺度测度过程，同时证明在稀疏支持恢复中有良好的表现，并通过非线性 PDE 的稳态分析揭示了有趣的相变现象。

Sep, 2016

本文研究了一种基于 Hebbian 算法的独立成分分析方法的稳定性和转移学习的问题，并证明了在数据维度较高时该方法需要低的学习率，因此需要进行大量迭代来学习。

May, 2001

本文提出一种新的独立组分分析框架，基于对观测向量的概率分布应用结构变换的测量转换 ICA（MTICA），通过选择合适的变换，我们证明分离矩阵可以通过对多个变换协方差矩阵对角化唯一确定，通过对多个经验性测量变换协方差矩阵进行近似联合对角化，MTICA 估计分离矩阵。与基于核的 ICA 技术不同，后者将变换重复地应用于观测向量的某些仿射映射，而 MTICA 仅将变换一次应用于观测值的概率分布，导致了性能优势和较少的实现复杂度。数值模拟证明了该方法相比其他现有的 ICA 的最新方法具有更好的性能。

Feb, 2013

本研究提出了基于联合对角化的新的 5 阶部分对称张量约束 CPD 算法，与现有的基于交替最小二乘法和增强线性搜索的算法相比，本算法的主要步骤不需要更新载荷矩阵，因此速度更快，在保持良好性能的同时提高了计算 CPD 鲁棒性。模拟结果证明了该算法的优越性。

Nov, 2013

本文研究具有多台服务器的分布式计算环境，通过开发 PCA 算法来处理点集的低维子空间问题，进而解决异常检测以及聚类等计算问题，提出的新算法显著降低了 $k$-means 聚类与相关问题的计算以及通讯成本，并且经过实验验证，在解决方案质量方面具有忽略不计的退化。

Aug, 2014

介绍了一种基于 Dynamical Components Analysis（DCA）的线性降维方法，可以在高维的时间序列数据中提取出最大预测信息的子空间，能有效地提取出动态结构，保留了线性降维方法的计算效率和几何可解释性。

May, 2019

Independent Mechanism Analysis (IMA) can address non-identifiability issues in nonlinear independent component analysis by assuming an orthogonal Jacobian and can also be applied to higher-dimensional observations based on the manifold hypothesis, with a statistical interpretation.

Dec, 2023

最近，非线性独立成分分析（nonlinear ICA）已经成为深度表示学习和特征解缠中许多启发式模型的热门替代方法之一。本文介绍了一种新的非线性 ICA 框架，采用适用于具有高维度依赖结构的数据的 $t$-process (TP) 潜在成分。我们发展了一种新的学习和推理算法，将变分推断方法扩展到将深度神经网络混合函数与 TP 先验结合起来，并采用诱导点的方法以提高计算效率。在理论方面，我们证明了这些 TP 独立成分在非常普遍的条件下是可识别的。此外，高斯过程（GP）非线性 ICA 被建立为 TP 非线性 ICA 模型的极限，并且我们证明了该 GP 极限下潜在成分的可识别性更受限制。也就是说，只有当这些成分具有不同的协方差核时，它们才是可识别的。我们的算法和可识别性定理在模拟空间数据和真实的时空数据上进行了探索。

Nov, 2023