使用异步一比特通信提升分布式全图 GNN 训练

Mar, 2023

使用异步一比特通信提升分布式全图 GNN 训练

Boosting Distributed Full-graph GNN Training with Asynchronous One-bit Communication

Meng Zhang, Qinghao Hu, Peng Sun, Yonggang Wen, Tianwei Zhang

TL;DR本文提出了一种高效的分布式图神经网络（GNN）训练框架 Sylvie，该框架采用一位量化技术和有界延迟的调整器来缩减通信开销，同时保持模型质量，在各种模型和数据集上进行了广泛实验验证，结果表明，该框架能够将训练吞吐量显著提高 28.1 倍。

Abstract

Training graph neural networks (GNNs) on large graphs is challenging due to the conflict between the high memory demand and limited GPU memory. Recently, distributed full-graph GNN training has been widely adopted to tackle this problem. However, the substantial inter-GPU communication

graph neural networks distributed training communication compression one-bit quantization staleness control

发现论文，激发创造

分布式全图 GNN 训练的自适应消息量化和并行化

本文研究了分布式完全图训练的图神经网络（GNNs），提出了一种快速训练系统 AdaQP，并使用随机量化和通信计算并行化等技术来降低通信成本，实现了训练吞吐量的显著提升和误差微小的准确性改进。

Jun, 2023

变通信速率下的大规模图神经网络分布式训练

在分布式图神经网络训练中引入了一种变化的压缩方案，用于减少通信量而不降低学习模型的准确性，并通过理论分析和实证结果证明了其性能优于完全通信情况下的压缩比。

Jun, 2024

图神经网络训练中的通信减少

本文介绍了一系列用于训练图神经网络的并行算法，可以通过优化通信来减少稀疏矩阵训练的通信成本，对于多个数据集上的测试结果表明其有效性。

May, 2020

具有平滑感知信息传播的深度图神经网络的低比特量化

图神经网络的规模和层数的扩展性方面存在挑战，本论文提出一种端到端的解决方案，采用量化方法来压缩模型以提高效率，在资源受限环境中实现高精度的图神经网络，并解决深层图神经网络中的过度平滑问题。

Aug, 2023

SGQuant：使用专用量化技术压缩图神经网络的最后一位

本文提出了一种专门针对内存受限设备的 GNN 量化方案 SGQuant，该方案旨在系统地减少 GNN 的内存消耗，通过 GNN 定制的量化算法设计、分层量化策略以及自动位数选择等措施，在减少内存消耗的同时保证模型的高精度，非常有效地将内存占用缩小了 4.25 到 31.9 倍。

Jul, 2020

DistGNN：大规模图神经网络的可扩展分布式训练

该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021

动态图神经网络的高效扩展

本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

Sep, 2021

QSGD: 通过梯度量化和编码实现通信高效的 SGD

提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。

Oct, 2016

分布式图神经网络训练：综述

这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Nov, 2022

无通信的顶点切割分布式 GNN 训练

CoFree-GNN 是一个新颖的分布式图神经网络训练框架，通过实现无通信训练显著加速训练过程。该框架利用顶点切分分区，通过在边上切分而不是切分分区之间的边，将节点信息复制以保留图结构，并通过重新赋权机制处理由复制节点引起的扭曲图分布。同时，通过引入修正的 DropEdge 技术进一步加快训练速度。在实际网络上进行的大量实验表明，CoFree-GNN 相比现有最先进的 GNN 训练方法，训练过程速度最多提高 10 倍。

Aug, 2023