Mar, 2020

规模化流水线反向传播：无批量训练大型模型

HTML
PDF
TL;DR本文研究了深度神经网络的硬件加速器，并提出了一种具有硬件优势的异步管道并行训练算法。通过引入Spike Compensation和Linear Weight Prediction两种方法，它有效地减轻了由Pipelined Backpropagation的异步性造成的缺点，并优于现有技术。适当的标准化和小批量大小也有助于训练，与SGD相比，它能够在CIFAR-10和ImageNet上为多个网络的训练匹配准确度。
发现论文，激发创造
  • 具收敛保证的解耦并行反向传播算法

    我们提出了一种去耦合的并行反向传播算法，利用延迟梯度解除了反向锁定，保证了深度学习的优化收敛性，并在标准数据集上展示了该算法的实验结果。

    Apr, 2018

  • GPipe：使用流水线并行化高效训练巨型神经网络

    GPipe是一种管道并行库，它提供了一种高效进行模型并行化的方式，可以将不同子层序列分别放在不同的加速器上，因此可以有效地将各种不同的网络扩展到巨大的规模，并且能够实现快速的线性加速，通过对两个不同任务的训练，证明了GPipe的优势。

    Nov, 2018

  • PipeMare：异步管道并行DNN训练

    该论文探讨了管道并行（Pipeline parallelism）训练神经网络的各种技术，提出了一种简单而健壮的训练方法，名为PipeMare，可以在保持与同步训练相当的模型质量的情况下提高硬件利用率，允许高效使用细粒度的并行计算。在ResNet和Transformer网络上进行测试，异步训练允许PipeMare使用更少的内存或更高的管道利用率。

    Oct, 2019

  • 高效使用内存的管道并行深度神经网络训练

    本文介绍了一种支持高效内存管道并行处理的系统——PipeDream-2BW, 通过新型的流水线和权重梯度合并策略以及双缓冲器来实现大模型训练的加速。PipeDream-2BW 自动将模型划分到可用的硬件资源上，并考虑加速器的内存容量和互连拓扑等硬件限制，可以将大型 GPT 和 BERT 语言模型的训练速度提高最多 20 倍，并保持模型精度相似。

    Jun, 2020

  • GNNPipe: 使用流水线模型并行加速分布式全图GNN训练

    采用模型并行而非图并行的分布式全局图神经网络训练方法GNNPipe，结合基于分块的流水线训练方法以及混合并行性，以减少通信开销并加快训练时间，同时保持相当的模型准确性和收敛速度。

    Aug, 2023

  • PipeOptim: 保证具有依赖优化器的权重预测的有效1F1B调度

    本文提出了一种基于优化器相关的权重预测策略（称为PipeOptim），用于解决异步管道训练中的权重一致性和陈旧性问题，以确保高吞吐量和有效的参数学习，实验证明PipeOptim优于其他流行的管道方法。

    Dec, 2023

  • 2BP：2阶段反向传播

    通过将反向传播步骤分为两个独立阶段，本文引入2阶段反向传播（2BP），以减少空闲计算时间，并在各种模型架构和管道调度上测试2BP，从而在所有情况下实现吞吐量的增加。使用2BP，相较于传统方法，在训练一个类似LLaMa的Transformer时，能够实现吞吐量的1.70倍增长，模型参数为70亿个，跨4个GPU。

    May, 2024

  • PETRA: 并行端到端训练与可逆架构

    我们介绍了一种用于并行计算深度模型训练的PETRA替代方法，它通过反向传播和单一参数版本的保持来解决权重存储的问题，并在CIFAR-10、ImageNet32和ImageNet上展示了其与后向传播相比具有竞争性的准确性。

    Jun, 2024

  • 图管道：通过图管道并行提高DNN训练的性能和可扩展性

    深度神经网络的管道并行化方法(GPP)以及分布式系统GraphPipe通过优化微批量进度和并行训练实现了对现有管道并行系统如PipeDream和Piper的提速和搜索时间的降低。

    Jun, 2024

  • 解耦反向传播和逐层更新的异步随机梯度下降

    本研究解决了深度学习模型中的反向传播算法效率低下的问题，尤其是在大规模模型训练时。提出了一种方法，通过异步线程并行化层更新，并利用更高比例的前向线程相对于反向线程，从而显著减少参数的陈旧性。实验表明，该方法在多个设备上可比现有的解决方案快达2.97倍，同时保持接近最先进的结果。

    Oct, 2024