PipeTransformer: 基于自动化弹性管道的 Transformers 分布式训练

Feb, 2021

PipeTransformer: 基于自动化弹性管道的 Transformers 分布式训练

PipeTransformer: Automated Elastic Pipelining for Distributed Training of Transformers

Chaoyang He, Shen Li, Mahdi Soltanolkotabi, Salman Avestimehr

TL;DR本研究提出了 PipeTransformer 来提高 Transformer 模型的多节点分布式训练效率，该方法通过自动化管线处理和数据并行来动态调整管线和并行策略，从而实现层的冻结和资源分配，结果表明 PipeTransformer 相较于现有算法可以提高 2.4 倍速度。

Abstract

The size of transformer models is growing at an unprecedented pace. It has only taken less than one year to reach trillion-level parameters after the release of GPT-3 (175B). Training such models requires both substantial engineering efforts and enormous computing resources, which are

transformer models distributed training pipetransformer automated pipelining data parallelism

发现论文，激发创造

TeraPipe：用于大规模语言模型训练的令牌级管道并行化

在本研究中，我们提出了一种新的维度，即在单个训练序列中执行流水线并行处理，以用于 Transformer-based 语言模型的高效训练，并开发了一种基于动态规划的算法 TeraPipe，用于进行同步模型并行训练。我们证明，TeraPipe 可以在使用 48 个 p3.16xlarge 实例的 AWS 集群上将最大的包含 1750 亿参数的 GPT-3 模型的训练速度提高 5.0 倍，相比最先进的模型并行方法，具有更细粒度的流水线并行处理。

Feb, 2021

GPipe：使用流水线并行化高效训练巨型神经网络

GPipe 是一种管道并行库，它提供了一种高效进行模型并行化的方式，可以将不同子层序列分别放在不同的加速器上，因此可以有效地将各种不同的网络扩展到巨大的规模，并且能够实现快速的线性加速，通过对两个不同任务的训练，证明了 GPipe 的优势。

Nov, 2018

PipeMare：异步管道并行 DNN 训练

该论文探讨了管道并行（Pipeline parallelism）训练神经网络的各种技术，提出了一种简单而健壮的训练方法，名为 PipeMare，可以在保持与同步训练相当的模型质量的情况下提高硬件利用率，允许高效使用细粒度的并行计算。在 ResNet 和 Transformer 网络上进行测试，异步训练允许 PipeMare 使用更少的内存或更高的管道利用率。

Oct, 2019

GNNPipe: 使用流水线模型并行加速分布式全图 GNN 训练

采用模型并行而非图并行的分布式全局图神经网络训练方法 GNNPipe，结合基于分块的流水线训练方法以及混合并行性，以减少通信开销并加快训练时间，同时保持相当的模型准确性和收敛速度。

Aug, 2023

Chimera: 用双向管道高效地训练大规模神经网络

本研究提出了一种名为 Chimera 的新型管道并行方案，采用双向管道以有效训练大型深度学习模型，该方法是一种同步方法，相对于异步方法更加收敛友好，相对于最新的同步并行方法，Chimera 可以将冒泡数量减少多达 50％。在基于 Transformer 的语言模型上进行评估，对于在 Piz Daint 超级计算机的 2,048 个 GPU 节点上运行的 13 亿参数的 GPT-2 模型，Chimera 将训练吞吐量提高了 1.16 倍 - 2.34 倍。

Jul, 2021

重新评估内存平衡的管道并行性：BPipe

通过对 BPipe 技术在 GPT-3 和 LLaMA 模型上的性能分析以及对 BPipe 性能评估方法的引入，我们发现了 BPipe 在 GPT-3 和 LLaMA 训练上性能不同的原因，并提出了一种新的估算 BPipe 性能的方法。

Jan, 2024

高效使用内存的管道并行深度神经网络训练

本文介绍了一种支持高效内存管道并行处理的系统 ——PipeDream-2BW, 通过新型的流水线和权重梯度合并策略以及双缓冲器来实现大模型训练的加速。PipeDream-2BW 自动将模型划分到可用的硬件资源上，并考虑加速器的内存容量和互连拓扑等硬件限制，可以将大型 GPT 和 BERT 语言模型的训练速度提高最多 20 倍，并保持模型精度相似。

Jun, 2020

图管道：通过图管道并行提高 DNN 训练的性能和可扩展性

深度神经网络的管道并行化方法 (GPP) 以及分布式系统 GraphPipe 通过优化微批量进度和并行训练实现了对现有管道并行系统如 PipeDream 和 Piper 的提速和搜索时间的降低。

Jun, 2024

DynaPipe: 通过动态管道优化多任务训练

多任务模型训练，采用动态微批处理和管道并行训练的方法提高训练效率。

Nov, 2023

PipeFusion: 扩散变压器模型推理的位移块并行处理

介绍了 PipeFusion 的一种新方法，利用多 GPU 并行性来解决扩散变压器（DiT）模型生成高分辨率图像的高计算和延迟挑战。通过分割图像并在多个设备上分布网络层，以管道并行的方式编排通信和计算，利用相邻扩散步骤输入的高相似性，通过重用一步陈旧的特征图为当前步骤提供上下文，实验结果表明，PipeFusion 能够在现有 DiT 并行方法无法满足 OOM 的情况下生成更高的图像分辨率。PipeFusion 显著降低了所需的通信带宽，使 DiT 推理能够在通过 PCIe 连接的 GPU 上托管，而不是更昂贵的 NVLink 基础结构，从而大幅降低了为服务 DiT 模型的整体运营费用。我们的代码公开可用于 https:// 所提供的 URL。

May, 2024