探究计算机体系结构和日益增长的数据集规模增大了异步并行优化算法在机器学习领域中的必要性，以及解决其理论分析的难题，提出一种新的 “扰动迭代” 框架，通过对三种不同的异步并行优化算法的实验分析，得出以往的假设存在问题，提高了算法的理论性能，以及研究了理论分析中的重要参数 “重叠常数” 与之前猜想不同，其复杂性更高。

Jan, 2018

本文表明，渐进地，完全异步的随机梯度程 序可以在几乎与标准随机梯度程 序的渐进最优性相同的条件下实现解决凸优化问题的最优（甚至是常数因子）收敛率。大体而言，随机近似方案固有的噪音支配了任何来自异步的噪音。我们还提供了经验性 证据，证明了异步、并行的随机优化方案的强大性能，这表明随机近似问题固有的稳健性允许更快的并行和异步解决方法。

Aug, 2015

该研究探讨了基于方差缩减的优化算法，尤其是异步版本的 SVRG 和 SAGA 在机器学习中的应用和实验表现。研究结果表明，该方法在稀疏设置下实现了近线性加速。

Jun, 2015

本文提出了一种名为 AsySVRG 的快速异步并行 SGD 方法，能够在收敛速度和计算成本方面优于现有的 Hogwild！等最先进的并行 SGD 方法。

Aug, 2015

该文主要研究基于梯度的优化算法中的延迟随机梯度信息的收敛性，以及如何应用于分布式优化算法中克服通信瓶颈和同步要求的问题，结果表明在平滑随机问题中，延迟是渐近可以忽略的，且能达到最优收敛效果。

Apr, 2011

本文通过马丁戈尔分析方法，研究了异步执行和低精度优化技术在随机梯度下降算法中的应用，包括推导了 Hogwild! 收敛速率、分析了非凸矩阵问题的异步 SGD 算法，以及设计了 Buckwild! 算法，并在现代硬件上进行了实验。

Jun, 2015

本篇论文介绍了一种简单的随机方差减小 (MiG) 算法及其在强凸和非强凸问题中最佳的收敛速率，并在稀疏和异步情况下介绍了其有效的变体并在这些情况下理论化分析其收敛速率。最后，我们进行了大量的实验，如逻辑回归等，以证明在串行和异步设置中的实际改进。

Jun, 2018

异步类型算法在异构设置中被分析，提出了统一的收敛理论，并介绍了基于工人洗牌的新型异步方法，数值评估支持理论发现并展示了该方法的良好实际性能。

Oct, 2023

本研究探讨了两种异步并行随机梯度下降的实现方式，并证明了它们的收敛率均为 O (1 / 根号 K)，且在工作者数受到限制的情况下可实现线性加速。

Jun, 2015

本文提出了一种新的基于梯度的随机凸复合优化方法，将估计序列概念推广到随机优化算法中，以一种简单通用的方式证明了众多随机优化算法的收敛性，并提出几种可靠性策略。

Jan, 2019