本文提出一种名为 GTVR 的随机分散算法框架，其基于本地方差缩减和全局梯度跟踪的技术，用于解决大规模，有可能无法集中处理私有数据的优化问题。我们在本文中重点研究了 GTVR 并介绍了两种算法 GT-SAGA 和 GT-SVRG，证明它们在解决光滑问题上呈现出线性收敛，并实现了在网络独立下的线性速度提升。

Dec, 2019

本文研究分散设置中的非凸函数求和最小化优化问题，提出了 PMGT-SVRG 算法的新的理论分析，证明了其方法的线性收敛性。然而，PMGT-SVRG 算法的收敛速度与条件数呈线性依赖关系，这对于病态问题而言是不理想的。为了解决这个问题，我们提出了一种结合加速、梯度跟踪和多共识混合技术的加速随机分散一阶算法，该方法的收敛速度与条件数呈平方根依赖关系。数值实验验证了我们提出算法在合成和真实数据集上理论保证的有效性。

Feb, 2024

本文提出了一种基于分布式随机算法的方差约简方法，以解决在多代理网络中进行大规模非凸有限和优化问题，提出了 GT-VR 算法，并证明了其收敛性和效率优于一些现有的一阶方法。

Jun, 2021

本文提出了一种名为 VR-SGD 的变体随机梯度下降法，其使用平均值和上一个时期的最后迭代作为两个向量，能够直接解决非光滑和 / 或非强凸问题，并能够使用更大的学习率。此方法在解决各种机器学习问题，如凸和非凸的经验风险最小化以及特征值计算等方面，具有更快的收敛速度。

Feb, 2018

本研究介绍了 Prox-SVRG 及其投影变体 VRPSG 算法，用于解决一类在机器学习中广泛使用的非强凸优化问题。通过 SSC 不等式的使用，本文证明了两种算法可以在无强凸性的情况下实现线性收敛率。

Jun, 2014

本文提出了一种新颖的基于随机方差降低策略梯度的增强学习算法，即 SVRPG，旨在解决马尔可夫决策过程中面临的非凸优化、全梯度计算误差以及采样过程的非稳定性等问题，并通过重要性权重来实现渐进无偏估计。在 MDP 标准假设下，我们提供了 SVRPG 的收敛保证，收敛速率在增加批处理大小下呈线性。最后，我们建议实际的 SVRPG 变体，并在连续 MDP 上进行了实证评估。

Jun, 2018

本文提出了一种基于原始 - 对偶框架的分布式优化算法，无需使用难以构建的双重随机混合矩阵，通过维护对偶变量来跟踪相邻节点之间的差异，使用这种方法构建的分布式算法比采用梯度跟踪的算法具有更好的性能。

Dec, 2020

本论文提出了一种加速的近端随机方差减少梯度（ASVRG）方法，它具有一种简单而有效的动量加速技巧，并证明在强凸和非强凸目标函数上都可以实现最佳已知的 oracle 复杂度。同时将 ASVRG 扩展到 mini-batch 基础上，并证明了理论结果，表明 ASVRG 的性能与现有的随机方法相当甚至更好。

Oct, 2018

本文研究了分散式随机优化的网络问题，提出了一种新的单循环分散式混合降低方差随机梯度下降算法 GT-HSGD，并度量了其优化性能。

Feb, 2021

在有限和求和最小化的背景下，方差缩减技术被广泛应用于改进现有随机梯度方法的性能，本研究首次提出了针对随机近端点算法的方差缩减技术研究，介绍了针对平滑凸函数的 SVRG、SAGA 和其变种的随机近端版本，并且提供了迭代和目标函数值的多个收敛结果，特别对于满足 Polyak-Lojasiewicz 条件的情况下，我们获得了迭代和函数值的线性收敛速度，数值实验结果表明相对于梯度方法来说，近端方差缩减方法在选择步长方面具有更好的稳定性。

Aug, 2023