BriefGPT.xyz
Jul, 2020
适应性制动以减缓梯度延迟
Adaptive Braking for Mitigating Gradient Delay
HTML
PDF
Abhinav Venigalla, Atli Kosson, Vitaliy Chiley, Urs Köster
TL;DR
本研究介绍自适应刹车（AB）这一基于动量优化器的修改方法，有助于减缓梯度延迟所带来的影响，并实现异步训练的稳定加速，进而使应用于SGD动量优化器上的AB方法能够实现在CIFAR-10和ImageNet-1k上的训练，最多在32个更新步骤下进行，且只有极少的最终测试准确性下降。
Abstract
neural network
training is commonly accelerated by using multiple synchronized workers to compute gradient updates in parallel.
asynchronous methods
remove synchronization overheads and improve hardware utilizati
→