本文提出了一个新的随机梯度方法用于优化一组平滑函数的和，其中和是强凸的。与标准随机梯度方法在这个问题上的次线性收敛相比，该方法通过记忆之前的梯度值来实现线性收敛率。在机器学习的背景下，数值实验表明，该方法可以明显优于标准算法，不仅在优化训练误差方面，而且可以快速降低测试误差。
Feb, 2012
本文主要研究了随机梯度下降法的线性收敛性，得到了更好的收敛保证，并且阐述了使用重要性采样在其他场景中进一步提高收敛速度的方法。研究基于随机梯度下降法与随机 Kaczmarz 算法之间的联系，可以将各自的研究成果相互借鉴。
Oct, 2013
该研究提出了一种名为“Vite”的基于Stochastic Quasi-Newton算法的优化方法，它利用一种现有的一阶技术来减少噪声和方差，并在大规模学习问题上取得了不错的结果。
Mar, 2015
本论文提出了一种优化方法，该方法融合了加速梯度下降、随机方差减少梯度的优点，适用于非强凸和强凸问题，并在效率和收敛速率上都有优异表现。
Jun, 2015
采用随机一阶方法找到梯度范数不超过ε的ε-稳定点的复杂度下界，使用具有有界方差的无偏随机梯度预言机访问光滑但可能非凸函数的一种模型，证明任何算法在最坏情况下需要至少ε^-4个查询才能找到ε-稳定点。对于噪声梯度估计满足均方光滑性质的更严格模型，我们证明了ε^ -3个查询的下界，建立了最近提出的方差缩减技术的最优性。
Dec, 2019
本文为最小化平滑和凸损失加上凸正则化的随机梯度算法提供了一致的收敛性分析定理，并探讨了特定算法的最优小批量大小。
Jun, 2020
该论文提出了一种针对马尔可夫噪声的随机优化问题的优化方法，使用随机批处理方案和多层蒙特卡洛方法，在非凸和强凸情况下实现对梯度方法和变分不等式的统一理论分析。此外，该研究消除了以前关于马尔可夫噪声的限制假设，并提供了与优化问题的强凸情况相匹配的下界。
May, 2023
本文研究了一类非光滑非凸问题，提出了一种基于随机Moreau包络梯度方法的单循环算法来解决这类问题，该算法在解决非光滑非凸问题上取得了最先进的非渐进收敛速率，通过实验证明了算法的有效性。
May, 2024
针对非凸优化中最小最大优化问题，本研究提出了利用高效的Hessian-向量乘积的新型修正动量算法，建立了收敛条件并证明了所提算法的迭代复杂度为O(ε^{-3})。通过在实际数据集上进行鲁棒的逻辑回归的应用验证了该方法的有效性。
Jun, 2024
本研究针对仅能访问带偏差随机Oracle的随机优化问题，提出了一类多层蒙特卡洛梯度方法，系统性地分析了其在强凸、凸及非凸目标下的样本和计算复杂度。结果表明，这些方法在处理条件随机优化和短缺风险优化等问题时，性能优于传统偏差随机梯度方法，并改善了已知的复杂度界限。
Aug, 2024