该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021

这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Nov, 2022

本文介绍了 DistDGL 系统，作为基于 Deep Graph Library（DGL）进行开发的图神经网络（GNN）的分布式训练系统，具有高效、可扩展性等优点。该系统采用了高质量且轻量级的最小割图划分算法，并支持非本地节点组成的自我网络进行小批量训练。经过优化后，该系统可以在线性速度下训练高质量的模型，并且在 16 台机器上只需 13 秒完成 100 万节点和 30 亿边数的图的训练。

Oct, 2020

本研究提出 SpreadGNN，是一种新型的多任务联邦学习框架，能够在无中心服务器的情况下操作，使用一个具有收敛保证的新型优化算法 Decentralized Periodic Averaging SGD (DPA-SGD) 来解决分散式多任务学习问题，并在各种非独立同分布的分布式图层次 molecular property prediction 数据集上验证了其有效性。

Jun, 2021

BatchGNN 是一个分布式 CPU 系统，可用于高效地在千兆字节级别的图形上训练图神经网络，通过在一个通信中绑定多个子图采样和特征提取以减少冗余特征提取、提供整合图分割和本地 GNN 层实现来提高运行时间，可以缓存聚合输入特征以进一步减少采样开销，相对于 DistDGL，GNN 的平均速度加快了 3 倍，在三个 OGBN 图表上训练的 GNN 模型优于分布式 GPU 系统 P3 和 DistDGLv2 的运行时间，并且可以扩展到千兆字节级别的图形。

Jun, 2023

CATGNN 是一个成本效益高且可扩展的分布式 GNN 训练系统，专注于在有限计算资源下扩展 GNN 训练到十亿规模或更大规模的图，并提出了一种名为 SPRING 的新型流式分区算法来进行分布式 GNN 训练。在 16 个开放数据集上验证了 CATGNN 与 SPRING 的正确性和有效性，尤其是证明了 CATGNN 能够处理最大的公开可用数据集，并在平均复制因子上显著优于最先进的分区算法 50%。

Apr, 2024

本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

Sep, 2021

我们提出了一种分布式 GNN 训练的简化框架，通过随机分配节点或超级节点来划分训练图，以改善数据均匀性并最小化跨节点之间的梯度和损失函数差异。在社交网络和电子商务网络上的实验证明，我们的方法在速度和性能上都达到了最先进水平，并比最快的基线提供了 2.31 倍的加速度。

May, 2023

GNNFlow 是一个分布式框架，可以在多 GPU 机器上进行高效的连续时态图表示学习，支持动态图并采用自适应的时间索引块数据结构、混合 GPU-CPU 图数据放置、GPU 缓存以及优化策略等技术，实现了比现有系统快 21.1 倍的连续学习效果。

Nov, 2023

在分布式图神经网络训练中引入了一种变化的压缩方案，用于减少通信量而不降低学习模型的准确性，并通过理论分析和实证结果证明了其性能优于完全通信情况下的压缩比。

Jun, 2024