GPipe：使用流水线并行化高效训练巨型神经网络

Nov, 2018

GPipe：使用流水线并行化高效训练巨型神经网络

GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism

Yanping Huang, Youlong Cheng, Ankur Bapna, Orhan Firat, Mia Xu Chen...

TL;DRGPipe 是一种管道并行库，它提供了一种高效进行模型并行化的方式，可以将不同子层序列分别放在不同的加速器上，因此可以有效地将各种不同的网络扩展到巨大的规模，并且能够实现快速的线性加速，通过对两个不同任务的训练，证明了 GPipe 的优势。

Abstract

Scaling up deep neural network capacity has been known as an effective approach to improving model quality for several different machine learning tasks. In many cases, increasing model capacity beyond the memory limit of a single accelerator has required developing special algorithms or infrastructure. These solutions are often architecture-specific and do n

deep neural networks model parallelism pipeline parallelism gpipe large-scale neural networks

发现论文，激发创造

图管道：通过图管道并行提高 DNN 训练的性能和可扩展性

深度神经网络的管道并行化方法 (GPP) 以及分布式系统 GraphPipe 通过优化微批量进度和并行训练实现了对现有管道并行系统如 PipeDream 和 Piper 的提速和搜索时间的降低。

Jun, 2024

GNNPipe: 使用流水线模型并行加速分布式全图 GNN 训练

采用模型并行而非图并行的分布式全局图神经网络训练方法 GNNPipe，结合基于分块的流水线训练方法以及混合并行性，以减少通信开销并加快训练时间，同时保持相当的模型准确性和收敛速度。

Aug, 2023

PipeTransformer: 基于自动化弹性管道的 Transformers 分布式训练

本研究提出了 PipeTransformer 来提高 Transformer 模型的多节点分布式训练效率，该方法通过自动化管线处理和数据并行来动态调整管线和并行策略，从而实现层的冻结和资源分配，结果表明 PipeTransformer 相较于现有算法可以提高 2.4 倍速度。

Feb, 2021

PipeDream: 快速高效的管道并行 DNN 训练

PipeDream 是一个用于 GPU 的深度神经网络 (DNN) 训练系统，使用管线并行计算模型来避免数据并行训练面临的慢速问题，并通过在多台机器上分别执行来减少通讯，使所有可用的 GPU 保持高生产效率。PipeDream 还使用循环排列的方式实现正向 / 反向传播以优化时间精度，相对于数据并行训练，其可将通信减少高达 95％，达到了 5 倍的训练加速比。

Jun, 2018

高效使用内存的管道并行深度神经网络训练

本文介绍了一种支持高效内存管道并行处理的系统 ——PipeDream-2BW, 通过新型的流水线和权重梯度合并策略以及双缓冲器来实现大模型训练的加速。PipeDream-2BW 自动将模型划分到可用的硬件资源上，并考虑加速器的内存容量和互连拓扑等硬件限制，可以将大型 GPT 和 BERT 语言模型的训练速度提高最多 20 倍，并保持模型精度相似。

Jun, 2020

PipeMare：异步管道并行 DNN 训练

该论文探讨了管道并行（Pipeline parallelism）训练神经网络的各种技术，提出了一种简单而健壮的训练方法，名为 PipeMare，可以在保持与同步训练相当的模型质量的情况下提高硬件利用率，允许高效使用细粒度的并行计算。在 ResNet 和 Transformer 网络上进行测试，异步训练允许 PipeMare 使用更少的内存或更高的管道利用率。

Oct, 2019

TeraPipe：用于大规模语言模型训练的令牌级管道并行化

在本研究中，我们提出了一种新的维度，即在单个训练序列中执行流水线并行处理，以用于 Transformer-based 语言模型的高效训练，并开发了一种基于动态规划的算法 TeraPipe，用于进行同步模型并行训练。我们证明，TeraPipe 可以在使用 48 个 p3.16xlarge 实例的 AWS 集群上将最大的包含 1750 亿参数的 GPT-3 模型的训练速度提高 5.0 倍，相比最先进的模型并行方法，具有更细粒度的流水线并行处理。

Feb, 2021

Chimera: 用双向管道高效地训练大规模神经网络

本研究提出了一种名为 Chimera 的新型管道并行方案，采用双向管道以有效训练大型深度学习模型，该方法是一种同步方法，相对于异步方法更加收敛友好，相对于最新的同步并行方法，Chimera 可以将冒泡数量减少多达 50％。在基于 Transformer 的语言模型上进行评估，对于在 Piz Daint 超级计算机的 2,048 个 GPU 节点上运行的 13 亿参数的 GPT-2 模型，Chimera 将训练吞吐量提高了 1.16 倍 - 2.34 倍。

Jul, 2021

DynaPipe: 通过动态管道优化多任务训练

多任务模型训练，采用动态微批处理和管道并行训练的方法提高训练效率。

Nov, 2023

基于多 GPU 平台的模型并行的高效稳健的 DNN 训练

该论文提出了一种基于 SpecTrain 的管道模型并行执行方法，可以在保持训练准确性的前提下，实现高 GPU 利用率，相比数据并行法可提高 8.91 倍的速度。

Sep, 2018