本文研究了节点网络上的去中心化在线随机非凸优化。通过将梯度跟踪技术集成到去中心化随机梯度下降中，我们证明了该算法具有一定的优势，并分析了其有效性和性能。同时，对于满足 Polyak-Lojasiewics 条件的全局非凸函数，我们确定了 GT-DSGD 的线性收敛性，并且在几乎每条路径上具有最优的全局亚线性收敛速度。

Aug, 2020

本文针对分布式算法模型中面临的发散问题，提出了两种基于随机梯度下降的算法，并证明了其具有良好的收敛性能，这是首个针对分布式情况下的凸 - 非凸问题的线性收敛性的成果。

Apr, 2023

本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类 SVRG 在解决非凸问题上的线性收敛，同时研究了 mini-batch 变体的 SVRG 在并行设置中加速的外延。

Mar, 2016

本论文提出了一种优化方法，该方法融合了加速梯度下降、随机方差减少梯度的优点，适用于非强凸和强凸问题，并在效率和收敛速率上都有优异表现。

Jun, 2015

本文提出一种名为 GTVR 的随机分散算法框架，其基于本地方差缩减和全局梯度跟踪的技术，用于解决大规模，有可能无法集中处理私有数据的优化问题。我们在本文中重点研究了 GTVR 并介绍了两种算法 GT-SAGA 和 GT-SVRG，证明它们在解决光滑问题上呈现出线性收敛，并实现了在网络独立下的线性速度提升。

Dec, 2019

本文研究了分散式随机优化的网络问题，提出了一种新的单循环分散式混合降低方差随机梯度下降算法 GT-HSGD，并度量了其优化性能。

Feb, 2021

本文提出一种基于变量规约的 Proximal 随机梯度下降算法 (ProxSVRG+), 该算法在非凸性和非光滑性优化问题上具有更好的性能，并在收敛性分析方面比之前的算法更加全面和普适性更强。

Feb, 2018

本研究提出了一种新的分散化随机算法框架 PMGT-VR，它结合了多种技术，包括多一致性、梯度跟踪和方差缩减。该框架依赖于中心化算法的模仿，并且证明算法在该框架下的收敛速度类似于其中心化对应物。我们还介绍和分析了两个代表性算法 PMGT-SAGA 和 PMGT-LSVRG，并将其与现有的基于 Proximal 的最先进算法进行了比较。在我们所知道的范围内，PMGT-VR 是第一个可以解决分散复合优化问题的线性收敛分散随机算法。实证实验证明了所提出算法的有效性。

Dec, 2020

本文提出了一种基于分布式随机算法的方差约简方法，以解决在多代理网络中进行大规模非凸有限和优化问题，提出了 GT-VR 算法，并证明了其收敛性和效率优于一些现有的一阶方法。

Jun, 2021

该研究提出了一种名为 SVRG 的算法，可用于处理强凸目标以外的任务并提供更高效的解决方案，并且该算法在许多著名的实际应用中都具有较好的表现。

Jun, 2015