本文提出了一种新的随机方差降低梯度算法的 Riemann 扩展，应用于紧致流形搜索空间，并展示了算法在多种问题上的应用和性能优于标准的 Riemannian 随机梯度下降算法。

May, 2016

本文提出了一种具有优越性能的 Riemannian 随机拟牛顿算法，以减少大量但有限的损失函数的平均值，在不确定性的情况下实现了加、减、平均多个梯度，并在消去和向量传输术语下，对非凸和收缩凸函数进行了收敛性分析，并在对称正定流形的 Karcher 平均值计算以及 Grassmann 流形的低秩矩阵完成方面进行了评估与实验，均表明该算法胜过当前最先进的批量和随机梯度算法。

Mar, 2017

本文介绍了一种新的用于优化 Riemann 流形中的逐点可微分函数的方差减少方法 RSVRG，并分析了其在几何凸和非凸函数上的性能，提供了非渐近性的复杂度分析，从而为 Riemannian 优化提供了一个新的视角。

May, 2016

本文提出了一种新颖的基于随机方差降低策略梯度的增强学习算法，即 SVRPG，旨在解决马尔可夫决策过程中面临的非凸优化、全梯度计算误差以及采样过程的非稳定性等问题，并通过重要性权重来实现渐进无偏估计。在 MDP 标准假设下，我们提供了 SVRPG 的收敛保证，收敛速率在增加批处理大小下呈线性。最后，我们建议实际的 SVRPG 变体，并在连续 MDP 上进行了实证评估。

Jun, 2018

本文提出了一个基于 Riemann 流形的梯度下降法以及一个几何性质框架，并探讨了如何将慢速收敛的结果转化为快速收敛结果。此外，我们将该框架应用于几何上强凸和欧几里得非凸问题，以及流式 $k$-PCA 问题，并展示了如何加速随机幂法的优化率。

Feb, 2018

在本研究中，我们研究了在黎曼流形上的随机优化，重点关注欧氏空间和黎曼空间中使用的关键方差减小机制。通过引入 Riemannian Loopless SVRG（R-LSVRG）和 PAGE（R-PAGE）方法，我们取代了外循环，采用每次迭代中由硬币翻转触发的概率性梯度计算，确保简化证明、高效的超参数选择和尖锐的收敛保证。我们以非凸黎曼优化为框架，证明了 R-PAGE 适用于各种重要环境，并推导了具有通信压缩的分布式环境中的 Riemannian MARINA（R-MARINA），为非凸黎曼流形上的分布式优化提供了最佳理论通信复杂性保证。实验结果支持我们的理论发现。

Mar, 2024

本文提出了一种名为 VR-SGD 的变体随机梯度下降法，其使用平均值和上一个时期的最后迭代作为两个向量，能够直接解决非光滑和 / 或非强凸问题，并能够使用更大的学习率。此方法在解决各种机器学习问题，如凸和非凸的经验风险最小化以及特征值计算等方面，具有更快的收敛速度。

Feb, 2018

CheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.

Mar, 2016

本文提出一种名为 GTVR 的随机分散算法框架，其基于本地方差缩减和全局梯度跟踪的技术，用于解决大规模，有可能无法集中处理私有数据的优化问题。我们在本文中重点研究了 GTVR 并介绍了两种算法 GT-SAGA 和 GT-SVRG，证明它们在解决光滑问题上呈现出线性收敛，并实现了在网络独立下的线性速度提升。

Dec, 2019

本篇论文介绍了一种简单的随机方差减小 (MiG) 算法及其在强凸和非强凸问题中最佳的收敛速率，并在稀疏和异步情况下介绍了其有效的变体并在这些情况下理论化分析其收敛速率。最后，我们进行了大量的实验，如逻辑回归等，以证明在串行和异步设置中的实际改进。

Jun, 2018