Sep, 2023

DGC: 使用图分块训练具有时空非均匀性的动态图

PDF
TL;DR提出了 DGC，一个分布式的 DGNN 训练系统，通过新的图分区方法将动态图分解成具有适度训练工作量和少量互连的子图，实现了比我们实验室中最先进技术快 1.25 倍至 7.52 倍的加速。该算法基于图粗化，能够在大型图上快速运行，并通过提出的块融合和自适应延迟聚合技术具有高效的运行时。通过对 3 个典型的 DGNN 模型和 4 个流行的动态图数据集的广泛实验结果展示了 DGC 的有效性。
发现论文，激发创造
  • 分布式图神经网络训练的分区策略实验比较

    本文研究了图分区对分布式图神经网络训练的有效性，发现图分区是一个关键的预处理步骤，能够大大减少训练时间和内存占用，同时也证明了分区所需的时间可以通过减少图神经网络训练时间加以弥补。

    Aug, 2023

  • 分布式内存系统上的可扩展图卷积网络训练

    我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

    Dec, 2022

  • DistGNN：大规模图神经网络的可扩展分布式训练

    该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

    Apr, 2021

  • 使用子图近似进行图卷积网络的分布式训练

    本文介绍了一种通过子图近似方案，在减小同步开销、降低内存占用的同时，解决分布式训练非独立同分布图形数据（如图卷积网络）中信息丢失与准确性问题的训练策略。

    Dec, 2020

  • CATGNN: 图神经网络的高效可扩展分布式训练

    CATGNN 是一个成本效益高且可扩展的分布式 GNN 训练系统，专注于在有限计算资源下扩展 GNN 训练到十亿规模或更大规模的图，并提出了一种名为 SPRING 的新型流式分区算法来进行分布式 GNN 训练。在 16 个开放数据集上验证了 CATGNN 与 SPRING 的正确性和有效性，尤其是证明了 CATGNN 能够处理最大的公开可用数据集，并在平均复制因子上显著优于最先进的分区算法 50%。

    Apr, 2024

  • 亿级图的分布式图神经网络训练

    本文介绍了 DistDGL 系统，作为基于 Deep Graph Library（DGL）进行开发的图神经网络（GNN）的分布式训练系统，具有高效、可扩展性等优点。该系统采用了高质量且轻量级的最小割图划分算法，并支持非本地节点组成的自我网络进行小批量训练。经过优化后，该系统可以在线性速度下训练高质量的模型，并且在 16 台机器上只需 13 秒完成 100 万节点和 30 亿边数的图的训练。

    Oct, 2020

  • 动态图神经网络的高效扩展

    本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

    Sep, 2021

  • 基于动态因果解释的扩散 - 变分图神经网络用于时空预测

    本文提出一种基于动态扩散变分图神经网络 (DVGNN) 的动态图构建方法，并在时序数据集上对 DVGNN 进行实验，证明它可以更好地反映动态图的因果关系和不确定性，达到更好的预测效果。

    May, 2023

  • 分布式图神经网络训练：综述

    这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

    Nov, 2022

  • GNNFlow：动态图上连续时态 GNN 学习的分布式框架

    GNNFlow 是一个分布式框架，可以在多 GPU 机器上进行高效的连续时态图表示学习，支持动态图并采用自适应的时间索引块数据结构、混合 GPU-CPU 图数据放置、GPU 缓存以及优化策略等技术，实现了比现有系统快 21.1 倍的连续学习效果。

    Nov, 2023