Nov, 2023

基于分布式矩阵采样的图神经网络训练

PDF
TL;DR该论文的主要贡献是在分布式图神经网络训练的采样步骤中提出了减少通信的新方法，其中包括基于矩阵的批量采样方法，用于表示采样为稀疏矩阵乘法（SpGEMM）并一次采样多个小批量。此外，还展示了使用简单的全互连交换合理复制特征数据可以优于当前的分布式图神经网络训练特征提取步骤的方法。
communication reductiondistributed gnn trainingmatrix-based bulk samplingspgemmfeature extraction
发现论文，激发创造
  • 图神经网络训练中的通信减少

    本文介绍了一系列用于训练图神经网络的并行算法，可以通过优化通信来减少稀疏矩阵训练的通信成本，对于多个数据集上的测试结果表明其有效性。

    May, 2020

  • 面向分布式训练的图卷积网络通信高效采样

    本文提出了一种通信高效的邻居采样方法，用于分布式训练图卷积网络，并在节点分类基准测试中证明了该方法显著降低了通信开销，损失很少的准确性。

    Jan, 2021

  • 使用快速采样和流水线加速图神经网络的训练和推断

    使用邻域采样的小批量训练方法加速图神经网络的训练和推理过程，可在多 GPU 环境下实现。作者采用性能优化的采样器、共享内存并行化的策略以及批量传输与 GPU 计算流水线的方法对算法进行改进，并在多个基准数据集和 GNN 架构上进行了实验，取得了显著的加速效果。

    Oct, 2021

  • 基于采样的带消息传递神经网络分布式训练

    本研究介绍了一种基于领域分解的分布式训练和推理方法，用于消息传递神经网络 (MPNN)。我们的目标是解决随着节点数量增加，无线边缘网络的规模化问题。通过我们的分布式训练方法，并结合 NystrÖm 近似采样技术，我们提出了一种可扩展的图神经网络，称为 DS-MPNN (D 和 S 分别代表分布式和采样)，能够扩展到 O (10^5) 个节点。我们在两个案例上验证了我们的采样和分布式训练方法：(a) Darcy 流数据集和 (b) 二维翼型稳态 RANS 模拟，与单 GPU 实现和基于节点的图卷积网络 (GCN) 进行比较。DS-MPNN 模型展示了与单 GPU 实现相当的准确性，可以容纳比单 GPU 变体 (S-MPNN) 更多的节点，并且明显优于基于节点的 GCN。

    Feb, 2024

  • 巨型图上混合 CPU-GPU 训练的全局邻居采样

    这篇论文提出了一种全局节点采样算法，名为 Global Neighborhood Sampling，以满足大规模复杂图的图神经网络训练需求，该算法能使混合 CPU-GPU 训练的高效训练成为可能，并通过实验展现了比传统邻居采样方法更加高效的结果。

    Jun, 2021

  • 高精准、高效率和可扩展性的图嵌入算法

    本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

    Oct, 2018

  • 图神经网络中的合作小批处理

    通过合作微批处理以及依赖性连续微批处理方法，我们在单节点多 GPU 系统上实现了高达 64% 的加速，同时减少了获取顶点嵌入的带宽消耗。

    Oct, 2023

  • BatchGNN：在非常大的图上高效的基于 CPU 的分布式 GNN 训练

    BatchGNN 是一个分布式 CPU 系统，可用于高效地在千兆字节级别的图形上训练图神经网络，通过在一个通信中绑定多个子图采样和特征提取以减少冗余特征提取、提供整合图分割和本地 GNN 层实现来提高运行时间，可以缓存聚合输入特征以进一步减少采样开销，相对于 DistDGL，GNN 的平均速度加快了 3 倍，在三个 OGBN 图表上训练的 GNN 模型优于分布式 GPU 系统 P3 和 DistDGLv2 的运行时间，并且可以扩展到千兆字节级别的图形。

    Jun, 2023

  • DistGNN：大规模图神经网络的可扩展分布式训练

    该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

    Apr, 2021

  • 使用随机稀疏计算加速图神经网络训练

    针对图神经网络训练过程中稀疏矩阵运算效率低下、采样也更加困难的问题，我们基于资源分配和缓存上一轮采样的解决方案，提出了一种名为随机稀疏计算的方法，能够在几乎不降低精度的情况下取得了专门针对稀疏矩阵运算加速的显著效果。

    Oct, 2022