分布式图神经网络训练：综述

Nov, 2022

Distributed Graph Neural Network Training: A Survey

Yingxia Shao, Hongzheng Li, Xizhi Gu, Hongbo Yin, Yawen Li...

TL;DR这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Abstract

graph neural networks (GNNs) are a type of deep learning models that learning over graphs, and have been successfully applied in many domains. Despite the effectiveness of GNNs, it is still challenging for GNNs to efficiently scale to large graphs. As a remedy, →

graph neural networks distributed computing training algorithms optimization techniques scalable gnns

发现论文，激发创造

图神经网络分布式系统的演化及其在图处理和深度学习中的起源：一项调查

本文总结和分类大规模图神经网络解决方案的重要方法和技术，并建立了图神经网络系统、图处理系统和深度学习系统之间的联系。

May, 2023

计算图神经网络：从算法到加速器的综述

该研究论文通过对 GNNs 的计算效率进行探讨，提供了该领域的回顾，包括对 GNN 的基本概念的简短教程以及不同算法变体的多个阶段中进行的操作的总结；同时，提供了对当前软件和硬件加速方案的深入分析，并提出了一个面向硬件和软件的、图形感知和通信为中心的 GNN 加速器的愿景。

Sep, 2020

DistGNN：大规模图神经网络的可扩展分布式训练

该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021

图神经网络综述

该论文综述了图神经网络在数据挖掘和机器学习领域的广泛应用，提出了四种图神经网络的分类，并讨论了在各个领域中的应用以及图神经网络的开放源代码、基准数据集和模型评估，并提出了该领域的潜在研究方向。

Jan, 2019

边缘端的 GNN：在分布式边缘服务器上实现成本有效的图神经网络处理

本文系统研究了多层异构边缘网络上的分布式图神经网络处理的成本优化，发现图神经网络的独特计算模式含有二次次模性质，在此基础上设计了基于图切割的迭代解法，并通过实验评估证明了其在成本降低、收敛速度等方面均具有优异性能。

Oct, 2022

变通信速率下的大规模图神经网络分布式训练

在分布式图神经网络训练中引入了一种变化的压缩方案，用于减少通信量而不降低学习模型的准确性，并通过理论分析和实证结果证明了其性能优于完全通信情况下的压缩比。

Jun, 2024

图神经网络：方法和应用综述

本文介绍了图神经网络（GNNs）的设计管道，详细讨论了其各个组成部分的变体，对其应用进行了系统分类，并提出了四个开放性问题供未来研究。