CATGNN: 图神经网络的高效可扩展分布式训练

Apr, 2024

CATGNN: 图神经网络的高效可扩展分布式训练

CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks

Xin Huang, Weipeng Zhuo, Minh Phu Vuong, Shiju Li, Jongryool Kim...

TL;DRCATGNN 是一个成本效益高且可扩展的分布式 GNN 训练系统，专注于在有限计算资源下扩展 GNN 训练到十亿规模或更大规模的图，并提出了一种名为 SPRING 的新型流式分区算法来进行分布式 GNN 训练。在 16 个开放数据集上验证了 CATGNN 与 SPRING 的正确性和有效性，尤其是证明了 CATGNN 能够处理最大的公开可用数据集，并在平均复制因子上显著优于最先进的分区算法 50%。

Abstract

graph neural networks have been shown successful in recent years. While different GNN architectures and training systems have been developed, GNN training on large-scale real-world graphs still remains challenging. Existing →

graph neural networks distributed systems gnn training large-scale graphs streaming partitioning

发现论文，激发创造

DistGNN：大规模图神经网络的可扩展分布式训练

该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021

分布式内存系统上的可扩展图卷积网络训练

我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

Dec, 2022

分布式图神经网络训练：综述

这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Nov, 2022

BatchGNN：在非常大的图上高效的基于 CPU 的分布式 GNN 训练

BatchGNN 是一个分布式 CPU 系统，可用于高效地在千兆字节级别的图形上训练图神经网络，通过在一个通信中绑定多个子图采样和特征提取以减少冗余特征提取、提供整合图分割和本地 GNN 层实现来提高运行时间，可以缓存聚合输入特征以进一步减少采样开销，相对于 DistDGL，GNN 的平均速度加快了 3 倍，在三个 OGBN 图表上训练的 GNN 模型优于分布式 GPU 系统 P3 和 DistDGLv2 的运行时间，并且可以扩展到千兆字节级别的图形。

Jun, 2023

分布式图神经网络训练的分区策略实验比较

本文研究了图分区对分布式图神经网络训练的有效性，发现图分区是一个关键的预处理步骤，能够大大减少训练时间和内存占用，同时也证明了分区所需的时间可以通过减少图神经网络训练时间加以弥补。

Aug, 2023

边缘端的 GNN：在分布式边缘服务器上实现成本有效的图神经网络处理

本文系统研究了多层异构边缘网络上的分布式图神经网络处理的成本优化，发现图神经网络的独特计算模式含有二次次模性质，在此基础上设计了基于图切割的迭代解法，并通过实验评估证明了其在成本降低、收敛速度等方面均具有优异性能。

Oct, 2022

使用子图近似进行图卷积网络的分布式训练

本文介绍了一种通过子图近似方案，在减小同步开销、降低内存占用的同时，解决分布式训练非独立同分布图形数据（如图卷积网络）中信息丢失与准确性问题的训练策略。

Dec, 2020

亿级图的分布式图神经网络训练

本文介绍了 DistDGL 系统，作为基于 Deep Graph Library（DGL）进行开发的图神经网络（GNN）的分布式训练系统，具有高效、可扩展性等优点。该系统采用了高质量且轻量级的最小割图划分算法，并支持非本地节点组成的自我网络进行小批量训练。经过优化后，该系统可以在线性速度下训练高质量的模型，并且在 16 台机器上只需 13 秒完成 100 万节点和 30 亿边数的图的训练。

Oct, 2020

高精准、高效率和可扩展性的图嵌入算法

本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

Oct, 2018

无通信的顶点切割分布式 GNN 训练

CoFree-GNN 是一个新颖的分布式图神经网络训练框架，通过实现无通信训练显著加速训练过程。该框架利用顶点切分分区，通过在边上切分而不是切分分区之间的边，将节点信息复制以保留图结构，并通过重新赋权机制处理由复制节点引起的扭曲图分布。同时，通过引入修正的 DropEdge 技术进一步加快训练速度。在实际网络上进行的大量实验表明，CoFree-GNN 相比现有最先进的 GNN 训练方法，训练过程速度最多提高 10 倍。

Aug, 2023