本文提出了一种分布式算法框架来训练图卷积网络，利用了输入数据的有意义的关系结构，并在不同代理之间分割数据图表达的优化通信拓扑结构，提出了一种分布式梯度下降算法来解决 GCN 训练问题，并建立了一套评价通信拓扑的优化准则。

Jul, 2020

我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

Dec, 2022

在分布式图神经网络训练中引入了一种变化的压缩方案，用于减少通信量而不降低学习模型的准确性，并通过理论分析和实证结果证明了其性能优于完全通信情况下的压缩比。

Jun, 2024

CATGNN 是一个成本效益高且可扩展的分布式 GNN 训练系统，专注于在有限计算资源下扩展 GNN 训练到十亿规模或更大规模的图，并提出了一种名为 SPRING 的新型流式分区算法来进行分布式 GNN 训练。在 16 个开放数据集上验证了 CATGNN 与 SPRING 的正确性和有效性，尤其是证明了 CATGNN 能够处理最大的公开可用数据集，并在平均复制因子上显著优于最先进的分区算法 50%。

Apr, 2024

本文研究了图分区对分布式图神经网络训练的有效性，发现图分区是一个关键的预处理步骤，能够大大减少训练时间和内存占用，同时也证明了分区所需的时间可以通过减少图神经网络训练时间加以弥补。

Aug, 2023

我们提出了一种分布式 GNN 训练的简化框架，通过随机分配节点或超级节点来划分训练图，以改善数据均匀性并最小化跨节点之间的梯度和损失函数差异。在社交网络和电子商务网络上的实验证明，我们的方法在速度和性能上都达到了最先进水平，并比最快的基线提供了 2.31 倍的加速度。

May, 2023

这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Nov, 2022

本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

Oct, 2018

该论文提出了一种基于图分割的分布式计算算法，其可以有效降低数据分布式处理过程中的通信成本，实验结果表明该算法能够在机器学习系统中实现 1.6 倍的加速，并且消除 90％的网络通信。

May, 2015

该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021