提出一种新的有效且可扩展的框架，用于在给定图形结构数据的监督节点分类任务中训练 GNNs。该方法通过在从输入网络提取的随机生成树线性化的一系列路径图上越来越细化的权重更新操作进行。在此过程中，路径图旨在保留原始图的基本拓扑和节点信息。同时，路径图的稀疏性使得训练更轻便，有助于缓解经典训练问题，如过度压缩和平滑。在许多真实世界图形基准测试中进行了广泛的实验研究，将该框架应用于图卷积网络，与众所周知的基线相比，同时提高了训练速度和测试精度。

Jun, 2023

提出了一种基于草图的算法，其训练时间和内存随着图的大小而亚线性增长，通过在少量紧凑的图草图上训练 GNN，避免了与图大小线性相关的复杂性增长，并通过局部敏感哈希（LSH）技术提高草图的质量，实验证明了该算法在大规模图上的可扩展性和竞争性能与完整规模的 GNN 相比。

Jun, 2024

CATGNN 是一个成本效益高且可扩展的分布式 GNN 训练系统，专注于在有限计算资源下扩展 GNN 训练到十亿规模或更大规模的图，并提出了一种名为 SPRING 的新型流式分区算法来进行分布式 GNN 训练。在 16 个开放数据集上验证了 CATGNN 与 SPRING 的正确性和有效性，尤其是证明了 CATGNN 能够处理最大的公开可用数据集，并在平均复制因子上显著优于最先进的分区算法 50%。

Apr, 2024

提出一种基于串联的图卷积机制和一种新颖的图池模块，用于增强识别非同构子图的区别能力，并且提出一种新颖的子图模式 GNN（SPGNN）架构，实验结果表明该方法在图分类方面具有与最先进的图核心和其他 GNN 方法相媲美的表现。

Apr, 2024

本文介绍了一种通过子图近似方案，在减小同步开销、降低内存占用的同时，解决分布式训练非独立同分布图形数据（如图卷积网络）中信息丢失与准确性问题的训练策略。

Dec, 2020

使用 SubGNN 模型对含有多个离散链接的生物医学数据集上的子图进行预测任务，通过神经路由机制，网络能够学习分离的子图表示，其中指定了三个信道以捕捉子图拓扑的不同方面，并在 8 个子图分类数据集上以及具有复杂拓扑结构和多个未连接组件的具有挑战性的生物医学数据集上优于基线模型 19.8%。

Jun, 2020

该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021

本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

Oct, 2018

我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

Dec, 2022

这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Nov, 2022