在分布式图神经网络训练中引入了一种变化的压缩方案，用于减少通信量而不降低学习模型的准确性，并通过理论分析和实证结果证明了其性能优于完全通信情况下的压缩比。

Jun, 2024

我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

Dec, 2022

这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Nov, 2022

稀疏矩阵计算是科学计算中无处不在的。近期对科学机器学习的兴趣使得人们自然而然地问及稀疏矩阵计算如何利用神经网络。然而，多层感知机（MLP）神经网络通常不适用于图形或稀疏矩阵计算。本文旨在为数值线性代数的读者介绍图神经网络（GNNs），并提供具体示例以说明如何使用 GNNs 完成许多常见的线性代数任务。同时，我们专注于使用计算核心如矩阵 - 向量乘积、插值、松弛方法和连接强度等迭代方法。期望通过本文使计算科学家了解如何将 GNNs 用于适应与稀疏矩阵相关的计算任务，并希望这种理解能够促进经典稀疏线性代数任务的数据驱动扩展。

Oct, 2023

该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021

本文提出了一种高效的分布式图神经网络（GNN）训练框架 Sylvie，该框架采用一位量化技术和有界延迟的调整器来缩减通信开销，同时保持模型质量，在各种模型和数据集上进行了广泛实验验证，结果表明，该框架能够将训练吞吐量显著提高 28.1 倍。

Mar, 2023

本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

Sep, 2021

CoFree-GNN 是一个新颖的分布式图神经网络训练框架，通过实现无通信训练显著加速训练过程。该框架利用顶点切分分区，通过在边上切分而不是切分分区之间的边，将节点信息复制以保留图结构，并通过重新赋权机制处理由复制节点引起的扭曲图分布。同时，通过引入修正的 DropEdge 技术进一步加快训练速度。在实际网络上进行的大量实验表明，CoFree-GNN 相比现有最先进的 GNN 训练方法，训练过程速度最多提高 10 倍。

Aug, 2023

该论文的主要贡献是在分布式图神经网络训练的采样步骤中提出了减少通信的新方法，其中包括基于矩阵的批量采样方法，用于表示采样为稀疏矩阵乘法（SpGEMM）并一次采样多个小批量。此外，还展示了使用简单的全互连交换合理复制特征数据可以优于当前的分布式图神经网络训练特征提取步骤的方法。

Nov, 2023

本文研究了分布式完全图训练的图神经网络（GNNs），提出了一种快速训练系统 AdaQP，并使用随机量化和通信计算并行化等技术来降低通信成本，实现了训练吞吐量的显著提升和误差微小的准确性改进。

Jun, 2023