本文提出了一种使用方差缩减的异步双随机零阶优化算法 (AsyDSZOVR)，应用于光滑但不一定是凸函数的有限和问题，证明了该算法将收敛速度从 O（1 /√T）提高到了 O（1 / T），优于现有算法的最佳结果，并且也超越了顺序随机零阶优化算法的理论结果。

Dec, 2016

探究计算机体系结构和日益增长的数据集规模增大了异步并行优化算法在机器学习领域中的必要性，以及解决其理论分析的难题，提出一种新的 “扰动迭代” 框架，通过对三种不同的异步并行优化算法的实验分析，得出以往的假设存在问题，提高了算法的理论性能，以及研究了理论分析中的重要参数 “重叠常数” 与之前猜想不同，其复杂性更高。

Jan, 2018

本文表明，渐进地，完全异步的随机梯度程 序可以在几乎与标准随机梯度程 序的渐进最优性相同的条件下实现解决凸优化问题的最优（甚至是常数因子）收敛率。大体而言，随机近似方案固有的噪音支配了任何来自异步的噪音。我们还提供了经验性 证据，证明了异步、并行的随机优化方案的强大性能，这表明随机近似问题固有的稳健性允许更快的并行和异步解决方法。

Aug, 2015

本文提出一种异步并行随机近端坐标下降算法，用于最小化由光滑凸函数和可分离凸函数组成的复合目标函数，并给出在多核处理器上的实现结果。

Mar, 2014

本文综述了近年来在大规模优化问题中应用的异步优化方法的最新发展，旨在提高计算资源利用率和收敛速度，在处理信息延迟、节点延迟等问题时，尤其是在随机优化方法中，异步更新方式具有更为优越的性能。

Jun, 2020

本研究探讨了两种异步并行随机梯度下降的实现方式，并证明了它们的收敛率均为 O (1 / 根号 K)，且在工作者数受到限制的情况下可实现线性加速。

Jun, 2015

本文提供了一种新颖的计算机辅助技术，用于系统地分析面向优化的一阶方法，并且与以往的工作相比，该方法特别适用于处理次线性收敛率和随机预言机。该技术依赖于半定规划和潜力函数，并允许同时获得算法行为的最坏情况保证，并帮助选择适当的参数以调整其最坏情况表现。

Feb, 2019

介绍和分析了一种基于随机优化算法和有界噪声扰动输入的方法，用于分析异步实现随机优化算法的统一方法，应用该方法开发和分析了一种新的稀疏随机方差降低梯度算法 KroMagnon，并在 16 核机器上进行了实验，表明稀疏和并行化版本的 SVRG 算法在某些情况下比标准 SVRG 算法快了四个数量级。

Jul, 2015

本文提出了一种可以匹配第一阶段方法迭代成本的机器学习优化问题的二阶随机方法，具有线性时间实现的稀疏输入数据。

Feb, 2016

该文主要研究基于梯度的优化算法中的延迟随机梯度信息的收敛性，以及如何应用于分布式优化算法中克服通信瓶颈和同步要求的问题，结果表明在平滑随机问题中，延迟是渐近可以忽略的，且能达到最优收敛效果。

Apr, 2011