变通信速率下的大规模图神经网络分布式训练

Jun, 2024

变通信速率下的大规模图神经网络分布式训练

Distributed Training of Large Graph Neural Networks with Variable Communication Rates

Juan Cervino, Md Asadullah Turja, Hesham Mostafa, Nageen Himayat, Alejandro Ribeiro

TL;DR在分布式图神经网络训练中引入了一种变化的压缩方案，用于减少通信量而不降低学习模型的准确性，并通过理论分析和实证结果证明了其性能优于完全通信情况下的压缩比。

Abstract

Training graph neural networks (GNNs) on large graphs presents unique challenges due to the large memory and computing requirements. Distributed GNN training, where the graph is partitioned across multiple machines, is a common approach to training GNNs on large graphs. However, as the

graph neural networks distributed gnn training compression scheme communication volume graph partitioning

发现论文，激发创造

图神经网络训练中的通信减少

本文介绍了一系列用于训练图神经网络的并行算法，可以通过优化通信来减少稀疏矩阵训练的通信成本，对于多个数据集上的测试结果表明其有效性。

May, 2020

分布式图神经网络训练：综述

这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Nov, 2022

DistGNN：大规模图神经网络的可扩展分布式训练

该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021

无通信的顶点切割分布式 GNN 训练

CoFree-GNN 是一个新颖的分布式图神经网络训练框架，通过实现无通信训练显著加速训练过程。该框架利用顶点切分分区，通过在边上切分而不是切分分区之间的边，将节点信息复制以保留图结构，并通过重新赋权机制处理由复制节点引起的扭曲图分布。同时，通过引入修正的 DropEdge 技术进一步加快训练速度。在实际网络上进行的大量实验表明，CoFree-GNN 相比现有最先进的 GNN 训练方法，训练过程速度最多提高 10 倍。

Aug, 2023

分布式内存系统上的可扩展图卷积网络训练

我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

Dec, 2022

动态图神经网络的高效扩展

本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

Sep, 2021

基于方差的梯度压缩用于高效的分布式深度学习

本文提出了一种用于降低分布式深度学习通信开销的方法，通过延迟梯度更新以使得梯度可以在计算出高幅度、低方差的梯度后进行。在实验中，我们证明了该方法能够在保持模型准确性的同时实现非常高的压缩比，并分析了使用计算模型和通信模型的效率，提供了该方法能够实现在许多场景下使用基础设施的证据。

Feb, 2018

使用子图近似进行图卷积网络的分布式训练

本文介绍了一种通过子图近似方案，在减小同步开销、降低内存占用的同时，解决分布式训练非独立同分布图形数据（如图卷积网络）中信息丢失与准确性问题的训练策略。

Dec, 2020

分布式图神经网络训练的分区策略实验比较

本文研究了图分区对分布式图神经网络训练的有效性，发现图分区是一个关键的预处理步骤，能够大大减少训练时间和内存占用，同时也证明了分区所需的时间可以通过减少图神经网络训练时间加以弥补。

Aug, 2023

分布式全图 GNN 训练的自适应消息量化和并行化

本文研究了分布式完全图训练的图神经网络（GNNs），提出了一种快速训练系统 AdaQP，并使用随机量化和通信计算并行化等技术来降低通信成本，实现了训练吞吐量的显著提升和误差微小的准确性改进。

Jun, 2023