May, 2018
非凸学习中无界时延异步随机梯度下降的收敛控制
Taming Convergence for Asynchronous Stochastic Gradient Descent with
Unbounded Delay in Non-Convex Learning
TL;DR研究异步随机梯度下降法在无界梯度延迟的非凸优化问题中的收敛性能,证明了Async-SGD和其变体Async-SGDI的收敛速度,建立了一个异步随机梯度下降法的充分条件,并将两个梯度延迟模型作为其特殊情况包括在内,得出了一个新的未考虑的延迟模型。