本论文使用非线性 PDE 研究了高维限制下在线算法的性能表现和最优化措施，并提出了利用随机梯度下降解决 1D Minimization 问题的新算法。

Oct, 2017

研究基于在线 PCA 和逐元素非线性的算法对于稀疏主特征向量的学习，证明其在高维极限下收敛于确定性的，尺度测度过程，同时证明在稀疏支持恢复中有良好的表现，并通过非线性 PDE 的稳态分析揭示了有趣的相变现象。

Sep, 2016

探讨了通过简单的 Hebbian 学习算法分离高维数据集中的非高斯分量的情况，介绍了该算法适用于学习 Stiefel 流形的自然梯度变体，并研究了大输入维度下两种算法的参数轨迹。

Sep, 2003

本文通过对梯度下降训练的神经网络的优化轨迹进行研究，展示了学习轨迹可以用大训练时间的显式渐近特征描述。

May, 2021

通过对单层非线性对比学习模型的训练动态进行高维度分析，本研究揭示了模型权重的经验分布收敛至由 McKean-Vlasov 非线性偏微分方程（PDE）所控制的确定性测度。在 L2 正则化的情况下，该 PDE 简化为一组封闭的低维常微分方程（ODEs），反映出模型在训练过程中性能的演变。我们分析了 ODEs 的固定点位置及其稳定性，揭示了几个有趣的发现。首先，只有隐藏变量的二阶矩影响到了在状态具有非信息性初始化时的特征可学习性。其次，更高阶矩通过控制吸引区域而影响到特征选择的概率，而不会影响局部稳定性。最后，添加到数据增强中的独立噪声会降低性能，而负相关的噪声则可以减少梯度估计的方差并提高性能。尽管该分析模型相当简单，但其呈现出丰富的训练动态现象，为理解实际大型模型背后的更复杂机制提供了一种途径。

Jun, 2024

介绍了一种与特征尺度无关的在线学习算法，证明了存在依赖于数据中存在的比例而不是绝对尺度的遗憾界，从而不需要预处理数据，减少了测试时间和测试空间复杂度，并提高了算法的稳健性。

Aug, 2014

本文介绍一种在线学习算法，该算法是收敛于再生核希尔伯特空间（RKHS）中的回归函数的正则化路径的顺序随机逼近。通过小心选择增益或步长序列，我们展示了可以生产出批量学习的最佳已知强收敛速率，并给出了弱收敛速率，其在文献中达到了最小化和个人较低速率的最优水平，并利用 Hilbert 空间中鞍点型不等式为鞍点型型不等式的马尔可夫过程推导出几乎肯定的收敛。通过类似于批量学习设置的偏差 - 方差分解，我们证明偏差包括沿正则化路径的逼近误差和漂移误差，这些误差显现了相同的收敛速率，而方差则来自样本误差，分析为反向鞍点型差分序列，上述速率通过偏差和方差之间的最佳折衷得到。

Mar, 2011

该研究提出了适用于在线主成分分析（PCA）和方差最小化的自适应算法，拥有亚线性自适应遗憾保证并能够适应不断变化的环境。

Jan, 2019

本研究探讨随机优化中梯度下降算法（尤其是加速梯度下降和随机梯度下降）的渐近行为，并建立了渐近分析的计算和统计统一框架。基于时间依赖奥恩斯坦 - 乌伦贝克过程等建立梯度流中心极限定理，最终识别学习率、批处理大小、梯度协方差和黑塞矩阵等四个因素，以解决非凸优化问题。

Nov, 2017

本文研究了梯度下降算法在光滑内核中的应用限制，提出了基于特征向量预处理的 EigenPro 迭代优化算法，通过注入小规模二阶信息以改善此限制，从而实现更好的收敛性能。

Mar, 2017