本研究从扰动动力学系统的角度研究了 SGD 优化算法在非凸优化问题中的应用，发现扰动过程可以弱化地近似 SGD 算法，并且批量大小对于深度神经网络具有明显影响，小批量有助于 SGD 算法避免不稳定驻点和锐利极小值，并且我们的理论表明，为了更好的泛化能力，应在后期增加批量大小以使 SGD 陷入平坦的极小值点。

May, 2017

本文对随机梯度下降（SGD）优化算法进行了严格的强误差分析，并证明了在标准凸性类型的目标函数和 SGD 优化算法中出现的随机误差的松弛假设下，对于任意小的 ε 和任意大的 p，所考虑的 SGD 优化算法都会按照 1/2-ε 的阶数在强 L^p 意义下收敛到全局最小值。本文的证明重点在于首先运用动力系统中的 Lyapunov-type 函数理论技术开发出一般的 SGD 优化算法收敛技术，然后应用具有多项式结构的具体 Lyapunov-type 函数，并在出现在 Lyapunov-type 函数中的幂上执行归纳论证，以达到在强 L^p 意义下实现任意大 p 收敛率的目的。

Jan, 2018

本研究探讨随机优化中梯度下降算法（尤其是加速梯度下降和随机梯度下降）的渐近行为，并建立了渐近分析的计算和统计统一框架。基于时间依赖奥恩斯坦 - 乌伦贝克过程等建立梯度流中心极限定理，最终识别学习率、批处理大小、梯度协方差和黑塞矩阵等四个因素，以解决非凸优化问题。

Nov, 2017

通过将学习理论与应用概率联系起来，引入了一种新的方法来证明随机优化算法的 Wasserstein 稳定性边界，并在强凸损失和带有附加噪声的非凸损失的情况下获得了时间均匀稳定性边界，其不随迭代次数增加而增加，并且证明了 Lyapunov 函数的重要性。

May, 2023

本文研究随机微分方程的数值逼近问题，提出了一种使用 Euler 方法求解的方法，证明了在椭圆或偏椭圆情况下，生成器与修改后的 Kolmogorov 方程的解相一致，同时动态将指数混合

May, 2011

本文研究用隐式方法对过阻尼 Langevin 随机微分方程的数值逼近，结果表明，数值解的生成器与经修改的 Kolmogorov 方程的解基本一致，这意味着每个数值方案的度量都接近于通过渐近展开所得到的修改不变度量。此外，我们证明了隐式方案的动态，在忽略项的情况下，是指数混合的。

Oct, 2013

该研究发展了随机修正方程 (SME) 框架的数学基础，以便于分析随机梯度算法的动态，其中后者由一类噪声参数很小的随机微分方程逼近。研究表明，这种逼近可以被理解为一种弱逼近，从而在随机目标的一般设置下，得出了关于随机梯度下降、动量 SGD 和随机 Nesterov 加速梯度方法逼近的一些精确而有用的结果。同时，我们还通过显式计算表明，这种连续时间方法可以揭示随机梯度算法的一些重要分析洞见，这在纯离散时间设置中可能很难获得。

Nov, 2018

本文提出采用扩散近似工具研究 Oja 迭代的动态特性，它是一种用于数据流中的在线随机梯度下降方法。我们使用扩散近似和弱收敛工具将 Oja 迭代特征为三个阶段，进而为其提供有限样本误差界限。

Aug, 2018

通过隐式方法对随机 Langevin 方程的数值逼近进行研究，显示了生成器与修正 Kolmogorov 方程的解重。此外，通过渐近展开得到每个数值方案的测度接近修正不变测度，并证明探讨的隐式方案动态指数混合。

Oct, 2013

本文借助扩散过程的分析范式，探索非凸统计优化的全局动态特性，以随机梯度下降 (SGD) 法求解独立成分分析的张量分解为例，将 SGD 的不同阶段转化为不同的扩散过程并进行分析。研究结果对于理解 Markov 链收敛到扩散过程的弱收敛也具有独立的意义。

Aug, 2018