介绍和分析了一种基于随机优化算法和有界噪声扰动输入的方法，用于分析异步实现随机优化算法的统一方法，应用该方法开发和分析了一种新的稀疏随机方差降低梯度算法 KroMagnon，并在 16 核机器上进行了实验，表明稀疏和并行化版本的 SVRG 算法在某些情况下比标准 SVRG 算法快了四个数量级。

Jul, 2015

该研究探讨并分析了实际分布式计算网络情况下的延迟梯度模型，允许参数更新对实际延迟进行敏感处理以产生更大的步长，从而在保持相同渐近复杂度的同时实现更快收敛，针对包含数十亿个数据和特征的真实数据集展开分布式实验，并取得鼓舞人心的改进。

Aug, 2015

本文提供基于生成函数的优化算法收敛性分析技巧，研究了梯度下降以及随机梯度下降在二次函数上的有限时间收敛性，证明了在有随机噪声的情况下，延迟对算法的影响可以被忽略，且在分布式优化问题上，加入延迟不会影响性能，且可和同步方法相媲美。

Jun, 2018

本文综述了近年来在大规模优化问题中应用的异步优化方法的最新发展，旨在提高计算资源利用率和收敛速度，在处理信息延迟、节点延迟等问题时，尤其是在随机优化方法中，异步更新方式具有更为优越的性能。

Jun, 2020

针对多台异步运行的机器共同访问的内存环境下的随机凸优化问题，我们提出了一种鲁棒的约束训练方法，其非渐近收敛保证不依赖于更新延迟、目标平滑度和梯度方差的先验知识。与此相反，现有方法严重依赖于这些先验知识，因此不适用于所有共享资源的计算环境，如云和数据中心。与现有方法不同，我们的方法可以隐含地适应动态分配机器所带来的延迟变化。

Jun, 2021

DADAO是第一个分布式异步算法，可通过分别使用独立的泊松点过程模拟本地梯度更新和闲话通信过程进行并行计算和加速通信，而不需要使用内部循环或其他特定机制，例如误差反馈，梯度跟踪或近端算子。

Jul, 2022

异步类型算法在异构设置中被分析，提出了统一的收敛理论，并介绍了基于工人洗牌的新型异步方法，数值评估支持理论发现并展示了该方法的良好实际性能。

Oct, 2023

该研究开发了两种分布式算法（Prox-DGD和DGD-ATC）的异步版本，用于解决无向网络上的共识优化问题，并且与其他算法相比，我们的算法可以使用与延迟无关的步长来收敛到它们的同步对应算法的固定点集。该研究还在部分异步和完全异步情况下，为强凸和弱凸问题建立了收敛保证，并展示了两种异步方法的收敛速度能够适应实际异步程度而不受最坏情况的限制。数值实验表明我们的异步算法具有很强的实际性能。

Dec, 2023

Federated learning algorithms face challenges due to straggling clients and non-iid local distributions; the proposed stochastic gradient algorithm, AREA, addresses these issues, demonstrating robustness to client drift and faster convergence through asynchronous communication.

May, 2024

本文解决了异步随机优化中的延迟问题，提出了一种将标准随机一阶方法转化为异步方法的程序，其收敛性依赖于延迟序列的$q$分位数。这种方法实现了在非凸和凸光滑问题上更优的收敛速率，尤其是通过同时自适应所有分位数的创新方法，可以不依赖于延迟的先验知识确保有效收敛。

Aug, 2024