May, 2024

2BP：2 阶段反向传播

PDF
TL;DR通过将反向传播步骤分为两个独立阶段，本文引入 2 阶段反向传播（2BP），以减少空闲计算时间，并在各种模型架构和管道调度上测试 2BP，从而在所有情况下实现吞吐量的增加。使用 2BP，相较于传统方法，在训练一个类似 LLaMa 的 Transformer 时，能够实现吞吐量的 1.70 倍增长，模型参数为 70 亿个，跨 4 个 GPU。
deep neural networkspipeline parallelism2-stage backpropagationthroughputml frameworks
发现论文，激发创造
  • 高效使用内存的管道并行深度神经网络训练

    本文介绍了一种支持高效内存管道并行处理的系统 ——PipeDream-2BW, 通过新型的流水线和权重梯度合并策略以及双缓冲器来实现大模型训练的加速。PipeDream-2BW 自动将模型划分到可用的硬件资源上，并考虑加速器的内存容量和互连拓扑等硬件限制，可以将大型 GPT 和 BERT 语言模型的训练速度提高最多 20 倍，并保持模型精度相似。

    Jun, 2020

  • 规模化流水线反向传播：无批量训练大型模型

    本文研究了深度神经网络的硬件加速器，并提出了一种具有硬件优势的异步管道并行训练算法。通过引入 Spike Compensation 和 Linear Weight Prediction 两种方法，它有效地减轻了由 Pipelined Backpropagation 的异步性造成的缺点，并优于现有技术。适当的标准化和小批量大小也有助于训练，与 SGD 相比，它能够在 CIFAR-10 和 ImageNet 上为多个网络的训练匹配准确度。

    Mar, 2020

  • GPipe：使用流水线并行化高效训练巨型神经网络

    GPipe 是一种管道并行库，它提供了一种高效进行模型并行化的方式，可以将不同子层序列分别放在不同的加速器上，因此可以有效地将各种不同的网络扩展到巨大的规模，并且能够实现快速的线性加速，通过对两个不同任务的训练，证明了 GPipe 的优势。

    Nov, 2018

  • DropBP：通过放弃反向传播来加速大语言模型的微调

    通过 Dropping Backward Propagation（DropBP）方法，在保持准确性的同时减少计算成本，提高深度神经网络的训练效率。

    Feb, 2024

  • 图管道：通过图管道并行提高 DNN 训练的性能和可扩展性

    深度神经网络的管道并行化方法 (GPP) 以及分布式系统 GraphPipe 通过优化微批量进度和并行训练实现了对现有管道并行系统如 PipeDream 和 Piper 的提速和搜索时间的降低。

    Jun, 2024

  • 生物启发深度学习算法和架构的可扩展性评估

    通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

    Jul, 2018

  • 重新评估内存平衡的管道并行性：BPipe

    通过对 BPipe 技术在 GPT-3 和 LLaMA 模型上的性能分析以及对 BPipe 性能评估方法的引入，我们发现了 BPipe 在 GPT-3 和 LLaMA 训练上性能不同的原因，并提出了一种新的估算 BPipe 性能的方法。

    Jan, 2024

  • 可扩展学习贝叶斯神经网络的概率反向传播

    本论文介绍了一种学习贝叶斯神经网络的新方法，称为概率反向传播 (PBP)，通过前向概率传递和后向梯度计算，PBP 比现有的贝叶斯技术更具可伸缩性，并提供了准确的网络权重后验方差估计。

    Feb, 2015

  • 大规模神经网络训练中的高效通信

    本研究提出了一种名为 Linear Pipelining（LP）的新型集合操作技术，用于在神经网络的并行训练中降低通信成本。 对 BSP-SGD 等现有方法进行了改进，并在实践中证明该方法降低了通信瓶颈，同时保持 BSP-SGD 吸引人的收敛属性。

    Nov, 2016

  • 具备实际性能保证的深度神经网络推断的线程并行

    通过将模型图分成 k 个阶段并减少瓶颈阶段的运行时间，我们通过最小化通信成本来优化深度神经网络（DNN）推理的流水线并行性。我们设计了针对这个 NP 困难问题的实际算法，并通过与通过新颖的混合整数规划（MIP）公式获得的强下界进行比较，证明它们在实践中几乎是最优的。我们将这些算法和下界方法应用于生产模型，从而在与标准组合下界相比，获得了显著改进的近似保证。这项工作表明，尽管最大吞吐量划分在理论上很困难，但我们在实践中对该问题的算法方面有所掌握，剩下的挑战主要在于开发更准确的成本模型以提供给划分算法。

    Nov, 2023