Jun, 2020

高效使用内存的管道并行深度神经网络训练

HTML
PDF
TL;DR本文介绍了一种支持高效内存管道并行处理的系统——PipeDream-2BW, 通过新型的流水线和权重梯度合并策略以及双缓冲器来实现大模型训练的加速。PipeDream-2BW 自动将模型划分到可用的硬件资源上，并考虑加速器的内存容量和互连拓扑等硬件限制，可以将大型 GPT 和 BERT 语言模型的训练速度提高最多 20 倍，并保持模型精度相似。
发现论文，激发创造
  • GPipe：使用流水线并行化高效训练巨型神经网络

    GPipe是一种管道并行库，它提供了一种高效进行模型并行化的方式，可以将不同子层序列分别放在不同的加速器上，因此可以有效地将各种不同的网络扩展到巨大的规模，并且能够实现快速的线性加速，通过对两个不同任务的训练，证明了GPipe的优势。

    Nov, 2018

  • PipeMare：异步管道并行DNN训练

    该论文探讨了管道并行（Pipeline parallelism）训练神经网络的各种技术，提出了一种简单而健壮的训练方法，名为PipeMare，可以在保持与同步训练相当的模型质量的情况下提高硬件利用率，允许高效使用细粒度的并行计算。在ResNet和Transformer网络上进行测试，异步训练允许PipeMare使用更少的内存或更高的管道利用率。

    Oct, 2019

  • 规模化流水线反向传播：无批量训练大型模型

    本文研究了深度神经网络的硬件加速器，并提出了一种具有硬件优势的异步管道并行训练算法。通过引入Spike Compensation和Linear Weight Prediction两种方法，它有效地减轻了由Pipelined Backpropagation的异步性造成的缺点，并优于现有技术。适当的标准化和小批量大小也有助于训练，与SGD相比，它能够在CIFAR-10和ImageNet上为多个网络的训练匹配准确度。

    Mar, 2020

  • GNNPipe: 使用流水线模型并行加速分布式全图GNN训练

    采用模型并行而非图并行的分布式全局图神经网络训练方法GNNPipe，结合基于分块的流水线训练方法以及混合并行性，以减少通信开销并加快训练时间，同时保持相当的模型准确性和收敛速度。

    Aug, 2023

  • 大型语言模型预训练的高效参数搜索和并行性扩展研究

    研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括5个编码解码器LLM（从5.8亿到130亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软DeepSpeed Zero Redundancy Optimizer (ZeRO)阶段。

    Oct, 2023

  • 具备实际性能保证的深度神经网络推断的线程并行

    通过将模型图分成k个阶段并减少瓶颈阶段的运行时间，我们通过最小化通信成本来优化深度神经网络（DNN）推理的流水线并行性。我们设计了针对这个NP困难问题的实际算法，并通过与通过新颖的混合整数规划（MIP）公式获得的强下界进行比较，证明它们在实践中几乎是最优的。我们将这些算法和下界方法应用于生产模型，从而在与标准组合下界相比，获得了显著改进的近似保证。这项工作表明，尽管最大吞吐量划分在理论上很困难，但我们在实践中对该问题的算法方面有所掌握，剩下的挑战主要在于开发更准确的成本模型以提供给划分算法。

    Nov, 2023

  • 大规模分布式模型训练的高效并行化布局

    通过对大型语言模型的多种训练配置进行全面的消融研究，我们总结出几个关键建议，以实现最高效的训练，例如，我们发现使用微批量大小为1通常能实现最高效的训练布局。较大的微批量大小需要激活检查点或更高程度的模型并行性，并且还会导致更大的管道延迟。我们最高效的配置使得在一系列模型规模上实现了最先进的训练效率结果，尤其是在训练13B模型时，模型FLOPs利用率达到了70.5%。

    Nov, 2023

  • DynaPipe: 通过动态管道优化多任务训练

    多任务模型训练，采用动态微批处理和管道并行训练的方法提高训练效率。

    Nov, 2023

  • PipeOptim: 保证具有依赖优化器的权重预测的有效1F1B调度

    本文提出了一种基于优化器相关的权重预测策略（称为PipeOptim），用于解决异步管道训练中的权重一致性和陈旧性问题，以确保高吞吐量和有效的参数学习，实验证明PipeOptim优于其他流行的管道方法。

    Dec, 2023

  • 图管道：通过图管道并行提高DNN训练的性能和可扩展性

    深度神经网络的管道并行化方法(GPP)以及分布式系统GraphPipe通过优化微批量进度和并行训练实现了对现有管道并行系统如PipeDream和Piper的提速和搜索时间的降低。

    Jun, 2024