该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021

采用模型并行而非图并行的分布式全局图神经网络训练方法 GNNPipe，结合基于分块的流水线训练方法以及混合并行性，以减少通信开销并加快训练时间，同时保持相当的模型准确性和收敛速度。

Aug, 2023

本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

Oct, 2018

这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Nov, 2022

本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

Sep, 2021

本研究介绍了一种新型的 Geometric Message Passing Neural Network（GemNet）结构，采用了定向边嵌入和双跳消息传递，展现出图神经网络在预测分子动力学方面的强大效果和广阔前景。

Jun, 2021

新技术对于大规模采用风能和太阳能等可再生能源是必要的。发现适合的催化剂对于使能量储存更具成本效益和可扩展性至关重要。这项研究旨在评估使用更轻量级方法在这一任务中获得的性能和洞察力，以鼓励来自不同背景的个人的参与。通过实施稳健的设计模式，如几何和对称的信息传递，我们能够训练一个 GNN 模型，在仅使用一小部分可训练参数的情况下，达到了 0.0748 的平均绝对误差，与 SchNet 和 DimeNet++ 等已建立的模型架构相媲美。

Apr, 2024

我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

Dec, 2022

我们研究了图神经网络的扩展行为，发现其在深度、宽度、分子数量、标签数量以及训练数据多样性上的扩展规律，取得了 30.25% 的性能改善（参数扩展至 10 亿）和 28.98% 的性能改善（数据集扩展至八倍）。此外，我们在 38 个任务上展示了很好的微调扩展行为，优于之前的大型模型，为基础图神经网络在制药药物研发领域迈出了重要的一步。

Apr, 2024

CATGNN 是一个成本效益高且可扩展的分布式 GNN 训练系统，专注于在有限计算资源下扩展 GNN 训练到十亿规模或更大规模的图，并提出了一种名为 SPRING 的新型流式分区算法来进行分布式 GNN 训练。在 16 个开放数据集上验证了 CATGNN 与 SPRING 的正确性和有效性，尤其是证明了 CATGNN 能够处理最大的公开可用数据集，并在平均复制因子上显著优于最先进的分区算法 50%。

Apr, 2024