亿级图的分布式图神经网络训练

Oct, 2020

DistDGL: Distributed Graph Neural Network Training for Billion-Scale Graphs

Da Zheng, Chao Ma, Minjie Wang, Jinjing Zhou, Qidong Su...

TL;DR本文介绍了 DistDGL 系统，作为基于 Deep Graph Library（DGL）进行开发的图神经网络（GNN）的分布式训练系统，具有高效、可扩展性等优点。该系统采用了高质量且轻量级的最小割图划分算法，并支持非本地节点组成的自我网络进行小批量训练。经过优化后，该系统可以在线性速度下训练高质量的模型，并且在 16 台机器上只需 13 秒完成 100 万节点和 30 亿边数的图的训练。

Abstract

graph neural networks (GNN) have shown great success in learning from graph-structured data. They are widely used in various applications, such as recommendation, fraud detection, and search. In these domains, the graphs are typically large, containing hundreds of millions of nodes and

graph neural networks distdgl distributed training mini-batch graph partitioning algorithm

发现论文，激发创造

DistGNN：大规模图神经网络的可扩展分布式训练

该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021

DistTGL: 分布式基于记忆的时间图神经网络训练

本文提出一种有效可扩展的方法 DistTGL，该方法通过增强 TGNN 模型、改进训练算法和优化系统，实现了在分布式 GPU 集群上训练内存基础全局连通图神经网络（memory-based temporal graph neural networks）。实验表明，DistTGL 算法比同类单机方法在准确性和训练吞吐量方面分别提高了 14.5% 和 10.17 倍。

Jul, 2023

分布式图神经网络训练：综述

这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Nov, 2022

BatchGNN：在非常大的图上高效的基于 CPU 的分布式 GNN 训练

BatchGNN 是一个分布式 CPU 系统，可用于高效地在千兆字节级别的图形上训练图神经网络，通过在一个通信中绑定多个子图采样和特征提取以减少冗余特征提取、提供整合图分割和本地 GNN 层实现来提高运行时间，可以缓存聚合输入特征以进一步减少采样开销，相对于 DistDGL，GNN 的平均速度加快了 3 倍，在三个 OGBN 图表上训练的 GNN 模型优于分布式 GPU 系统 P3 和 DistDGLv2 的运行时间，并且可以扩展到千兆字节级别的图形。

Jun, 2023

GraNNDis: 面向大规模集群的高效统一分布式训练框架用于深度图神经网络

GraNNDis 是一个高效的分布式 GNN 训练框架，通过共享预加载、扩展感知采样和合作批处理三种技术，解决了大图和深层训练中的通信和内存问题，实现了超越现有分布式 GNN 训练框架的速度提升。

Nov, 2023

CATGNN: 图神经网络的高效可扩展分布式训练

CATGNN 是一个成本效益高且可扩展的分布式 GNN 训练系统，专注于在有限计算资源下扩展 GNN 训练到十亿规模或更大规模的图，并提出了一种名为 SPRING 的新型流式分区算法来进行分布式 GNN 训练。在 16 个开放数据集上验证了 CATGNN 与 SPRING 的正确性和有效性，尤其是证明了 CATGNN 能够处理最大的公开可用数据集，并在平均复制因子上显著优于最先进的分区算法 50%。

Apr, 2024

深度图库：面向图的、高性能的图神经网络包

本文介绍了 Deep Graph Library（DGL）的设计原则和实现方法，DGL 将 GNNs 的计算模式提炼成几个泛化的稀疏张量操作，适合大规模并行化。DGL 以图形为中心编程抽象，能够透明地进行优化。同时 DGL 采用了框架中立的设计，允许用户在多个深度学习框架中轻松移植和利用现有的组件。我们的评估表明，在各种基准测试中，DGL 在速度和内存消耗方面都显著优于其他流行的面向 GNNs 的框架，并且对于小规模工作负载的开销很小。

Sep, 2019

动态图神经网络的高效扩展

本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

Sep, 2021

SpreadGNN: 面向图神经网络的无服务器多任务联邦学习

本研究提出 SpreadGNN，是一种新型的多任务联邦学习框架，能够在无中心服务器的情况下操作，使用一个具有收敛保证的新型优化算法 Decentralized Periodic Averaging SGD (DPA-SGD) 来解决分散式多任务学习问题，并在各种非独立同分布的分布式图层次 molecular property prediction 数据集上验证了其有效性。

Jun, 2021

无通信的顶点切割分布式 GNN 训练

CoFree-GNN 是一个新颖的分布式图神经网络训练框架，通过实现无通信训练显著加速训练过程。该框架利用顶点切分分区，通过在边上切分而不是切分分区之间的边，将节点信息复制以保留图结构，并通过重新赋权机制处理由复制节点引起的扭曲图分布。同时，通过引入修正的 DropEdge 技术进一步加快训练速度。在实际网络上进行的大量实验表明，CoFree-GNN 相比现有最先进的 GNN 训练方法，训练过程速度最多提高 10 倍。

Aug, 2023