本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类SVRG在解决非凸问题上的线性收敛，同时研究了mini-batch变体的SVRG在并行设置中加速的外延。

Mar, 2016

本文提出了一个随机变体的经典算法--立方正则化牛顿方法。该算法可以有效地避免鞍点问题，并在仅需要$\mathcal{\tilde{O}}(\epsilon^{-3.5})$个随机梯度和随机海森向量乘积评估的情况下，为一般光滑的非凸函数找到近似的局部极小值。

Nov, 2017

本文提出一种基于变量规约的Proximal 随机梯度下降算法(ProxSVRG+), 该算法在非凸性和非光滑性优化问题上具有更好的性能, 并在收敛性分析方面比之前的算法更加全面和普适性更强。

Feb, 2018

提出了一种新的随机一阶算法框架来解决随机复合非凸优化问题，该算法覆盖了有限和期望设置，其中算法仅需要非凸目标项的平均光滑性假设和附加的有界方差假设，并证明了算法可以实现最佳复杂度界限。

Feb, 2019

提出一种新方法解决一类复合随机非凸优化问题，通过组合两种随机估计量形成混合估计量，将之应用于多种变体的随机梯度法中以达到最优的复杂度界限。

Jul, 2019

本篇论文使用类似于期望光滑性假设的新方法来研究随机梯度下降法在非凸优化中的收敛率，并在考虑多种采样策略和小批量大小的情况下，探讨有限和优化问题的影响。

Feb, 2020

本文介绍了一种随机子梯度方法，该方法结合了动量项，能够在一类广泛意义下的非光滑、非凸和受约束的优化问题中建立一个特殊的李亚普诺夫函数，实现快速收敛。

Feb, 2020

本文针对非凸非光滑问题提出新的算法稳定性度量方法，同时建立它们与梯度之间的量化关系，并使用采样确定算法导出了随机梯度下降算法和其自适应变种的误差界。

Jun, 2022

本文提出并研究了一种新颖的随机优化算法，称为基于正态映射的近端随机重排（norm-PRR）方法，用于非光滑非凸有限和问题。我们建立了norm-PRR的迭代复杂度O(n^{-1/3}T^{-2/3})，其中n是组成函数的数量，T表示迭代总数。此外，在Kurdyka-Łojasiewicz不等式下，我们建立了norm-PRR的强极限点收敛性，并得到了迭代的最终收敛速度为O(k^{-p})的形式；其中，p∈[0, 1]取决于KL指数θ∈[0,1)和步长动态。最后，我们还提供了关于机器学习问题的初步数值结果，证明了该方法的效率。

Dec, 2023

非凸优化中采用维度无关的随机一阶方法(DISFOM)来解决样本复杂度问题，使用小批量估计梯度以达到ε-稳定点的样本复杂度为O((log d) / ε^4)，进一步利用方差缩减可将该界限提高至O((log d)^(2/3) / ε^(10/3))，并提供了两种非平滑距离函数的选择，数值实验验证了所提框架的维度无关性。

Jun, 2024