Aug, 2023

GNNPipe: 使用流水线模型并行加速分布式全图 GNN 训练

PDF
TL;DR采用模型并行而非图并行的分布式全局图神经网络训练方法 GNNPipe，结合基于分块的流水线训练方法以及混合并行性，以减少通信开销并加快训练时间，同时保持相当的模型准确性和收敛速度。
distributed full-graph gnn traininggraph parallelismmodel parallelismchunk-based pipelined traininghybrid parallelism
发现论文，激发创造
  • 图管道：通过图管道并行提高 DNN 训练的性能和可扩展性

    深度神经网络的管道并行化方法 (GPP) 以及分布式系统 GraphPipe 通过优化微批量进度和并行训练实现了对现有管道并行系统如 PipeDream 和 Piper 的提速和搜索时间的降低。

    Jun, 2024

  • GPipe：使用流水线并行化高效训练巨型神经网络

    GPipe 是一种管道并行库，它提供了一种高效进行模型并行化的方式，可以将不同子层序列分别放在不同的加速器上，因此可以有效地将各种不同的网络扩展到巨大的规模，并且能够实现快速的线性加速，通过对两个不同任务的训练，证明了 GPipe 的优势。

    Nov, 2018

  • PipeGCN：基于流水线特征通信的图卷积网络高效全图训练

    PipeGCN 是一种隐藏分布式图卷积网络（GCN）培训中节点特征和特征梯度通信开销的简单而有效的方案，在训练吞吐量（1.7 倍〜28.5 倍）大幅提高的同时实现与现有全图培训方法相同的精度。

    Mar, 2022

  • 基于多 GPU 平台的模型并行的高效稳健的 DNN 训练

    该论文提出了一种基于 SpecTrain 的管道模型并行执行方法，可以在保持训练准确性的前提下，实现高 GPU 利用率，相比数据并行法可提高 8.91 倍的速度。

    Sep, 2018

  • PiPAD: 基于 GPU 的流水线和并行动态图神经网络训练

    提出了 PiPAD，一种基于管道和并行设计的动态图神经网络 (DGNNs) 训练框架，用于在 GPU 上进行端到端性能优化。在各种数据集上的评估表明，PiPAD 在三种代表性模型上实现了 1.22 倍 - 9.57 倍的超越最先进的 DGNN 框架的加速。

    Jan, 2023

  • PipeMare：异步管道并行 DNN 训练

    该论文探讨了管道并行（Pipeline parallelism）训练神经网络的各种技术，提出了一种简单而健壮的训练方法，名为 PipeMare，可以在保持与同步训练相当的模型质量的情况下提高硬件利用率，允许高效使用细粒度的并行计算。在 ResNet 和 Transformer 网络上进行测试，异步训练允许 PipeMare 使用更少的内存或更高的管道利用率。

    Oct, 2019

  • PipeDream: 快速高效的管道并行 DNN 训练

    PipeDream 是一个用于 GPU 的深度神经网络 (DNN) 训练系统，使用管线并行计算模型来避免数据并行训练面临的慢速问题，并通过在多台机器上分别执行来减少通讯，使所有可用的 GPU 保持高生产效率。PipeDream 还使用循环排列的方式实现正向 / 反向传播以优化 时间精度，相对于数据并行训练，其可将通信减少高达 95％，达到了 5 倍的训练加速比。

    Jun, 2018

  • PipeTransformer: 基于自动化弹性管道的 Transformers 分布式训练

    本研究提出了 PipeTransformer 来提高 Transformer 模型的多节点分布式训练效率，该方法通过自动化管线处理和数据并行来动态调整管线和并行策略，从而实现层的冻结和资源分配，结果表明 PipeTransformer 相较于现有算法可以提高 2.4 倍速度。

    Feb, 2021

  • 使用快速采样和流水线加速图神经网络的训练和推断

    使用邻域采样的小批量训练方法加速图神经网络的训练和推理过程，可在多 GPU 环境下实现。作者采用性能优化的采样器、共享内存并行化的策略以及批量传输与 GPU 计算流水线的方法对算法进行改进，并在多个基准数据集和 GNN 架构上进行了实验，取得了显著的加速效果。

    Oct, 2021

  • DistGNN：大规模图神经网络的可扩展分布式训练

    该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

    Apr, 2021