Jun, 2018
PipeDream: 快速高效的管道并行 DNN 训练
PipeDream: Fast and Efficient Pipeline Parallel DNN Training
Aaron Harlap, Deepak Narayanan, Amar Phanishayee, Vivek Seshadri, Nikhil Devanur...
TL;DRPipeDream 是一个用于 GPU 的深度神经网络 (DNN) 训练系统,使用管线并行计算模型来避免数据并行训练面临的慢速问题,并通过在多台机器上分别执行来减少通讯,使所有可用的 GPU 保持高生产效率。PipeDream 还使用循环排列的方式实现正向 / 反向传播以优化 时间精度,相对于数据并行训练,其可将通信减少高达 95%,达到了 5 倍的训练加速比。