May, 2018
非凸学习中无界时延异步随机梯度下降的收敛控制
Taming Convergence for Asynchronous Stochastic Gradient Descent with Unbounded Delay in Non-Convex Learning
Xin Zhang, Jia Liu, Zhengyuan Zhu
TL;DR研究异步随机梯度下降法在无界梯度延迟的非凸优化问题中的收敛性能,证明了 Async-SGD 和其变体 Async-SGDI 的收敛速度,建立了一个异步随机梯度下降法的充分条件,并将两个梯度延迟模型作为其特殊情况包括在内,得出了一个新的未考虑的延迟模型。