Apr, 2019
动态小批量随机梯度下降算法用于弹性分布式训练:在资源极限中的学习
Dynamic Mini-batch SGD for Elastic Distributed Training: Learning in the Limbo of Resources
Haibin Lin, Hang Zhang, Yifei Ma, Tong He, Zhi Zhang...
TL;DR通过动态调度不同的分布式深度学习任务,以最大化资源利用和减少成本,得到我们的 Elastic Distributed Training. 我们提出了一种名为 Dynamic SGD 的方法,可以通过平滑调整学习率来缓解噪声动量估计的影响,在图像分类,目标检测和语义分割等实验中取得了稳定的性能。