使用快速采样和流水线加速图神经网络的训练和推断

Oct, 2021

使用快速采样和流水线加速图神经网络的训练和推断

Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining

Tim Kaler, Nickolas Stathas, Anne Ouyang, Alexandros-Stavros Iliopoulos, Tao B. Schardl...

TL;DR使用邻域采样的小批量训练方法加速图神经网络的训练和推理过程，可在多 GPU 环境下实现。作者采用性能优化的采样器、共享内存并行化的策略以及批量传输与 GPU 计算流水线的方法对算法进行改进，并在多个基准数据集和 GNN 架构上进行了实验，取得了显著的加速效果。

Abstract

Improving the training and inference performance of graph neural networks (GNNs) is faced with a challenge uncommon in general neural networks: creating mini-batches requires a lot of computation and data movement due to the exponential growth of multi-hop graph neighborhoods along net

graph neural networks mini-batch training neighborhood sampling distributed multi-gpu environment performance bottlenecks

发现论文，激发创造

巨型图上混合 CPU-GPU 训练的全局邻居采样

这篇论文提出了一种全局节点采样算法，名为 Global Neighborhood Sampling，以满足大规模复杂图的图神经网络训练需求，该算法能使混合 CPU-GPU 训练的高效训练成为可能，并通过实验展现了比传统邻居采样方法更加高效的结果。

Jun, 2021

具有概率邻域扩展分析和缓存的通信高效图神经网络

本文提出了一种在分布式设置下使用节点采样的图神经网络的小批量训练与推断的方案，通过分析多跳邻域采样时的节点包含概率（VIP），提出基于 VIP 驱动的缓存策略，显著减少通信量，保持本地训练效率和可扩展性，并在常用节点特征上用 GPU 存储。通过 Open Graph Benchmark 数据集进行的实验表明，使用 SALIENT++ 在 8 个单 GPU 机器上训练 3 层 GraphSAGE 模型的速度比使用 SALIENT 在 1 个单 GPU 机器上快 7.1 倍，在 8 个单 GPU 机器上比使用 DistDGL 快 12.7 倍。

May, 2023

利用 GPU 加速图机器学习中的图采样

该论文介绍了一个名为 NextDoor 的系统，该系统使用称为 transit-parallelism 的新方法，在 GPU 上高效执行图形采样，并比现有系统运行得更快，该系统提供给终端用户撰写各种图形采样算法的高级抽象。

Sep, 2020

GNNPipe: 使用流水线模型并行加速分布式全图 GNN 训练

采用模型并行而非图并行的分布式全局图神经网络训练方法 GNNPipe，结合基于分块的流水线训练方法以及混合并行性，以减少通信开销并加快训练时间，同时保持相当的模型准确性和收敛速度。

Aug, 2023

基于采样的图神经网络的局部图极限视角

我们提出了一种用于训练大型输入图的图神经网络（GNNs）的理论框架，通过在小型固定大小的采样子图上进行训练。在渐进理论的基础上，我们证明了在渐进意义下，通过在大型输入图的小样本上训练基于采样的 GNNs 所学习到的参数在 ε- 邻域内与在整个图上训练相同结构的结果相比具有可接受的误差。我们从 ε 的角度导出了关于采样数、图的大小和训练步骤所需的界限函数。我们的结果给出了对于在训练 GNNs 中使用采样的新颖理论理解。同时我们的结果还表明，通过在输入图的小样本上训练 GNNs，从而可以更高效地确定和选择最佳模型、超参数和采样算法。我们在大型的引文图上进行了节点分类任务的实证研究，观察到在局部子图上训练的采样 GNNs 相较于在输入图上训练的 GNNs 达到了可比较的性能，而局部子图的大小仅为原图的 1/12。

Oct, 2023

自适应采样快速图表示学习

本研究提出了一种自适应逐层采样方法和跨越较远节点的消息传递方法，以解决图形卷积网络在大规模图中的可扩展性问题，并通过实验验证了其有效性和更快的收敛速度。

Sep, 2018

GraphSAINT: 基于图随机抽样的归纳学习方法

GraphSAINT 是一种基于图采样的归纳学习方法，通过采样训练图形而不是节点或边来构建小批量，以提高训练效率和准确性；在五个大图上表现出优越的性能，实现了 PPI（0.995）和 Reddit（0.970）的新的最先进的 F1 分数。

Jul, 2019

基于分布式矩阵采样的图神经网络训练

该论文的主要贡献是在分布式图神经网络训练的采样步骤中提出了减少通信的新方法，其中包括基于矩阵的批量采样方法，用于表示采样为稀疏矩阵乘法（SpGEMM）并一次采样多个小批量。此外，还展示了使用简单的全互连交换合理复制特征数据可以优于当前的分布式图神经网络训练特征提取步骤的方法。

Nov, 2023

图神经网络中的合作小批处理

通过合作微批处理以及依赖性连续微批处理方法，我们在单节点多 GPU 系统上实现了高达 64% 的加速，同时减少了获取顶点嵌入的带宽消耗。

Oct, 2023

数据驱动节点采样强化 GraphSAGE

本文提出了一种新的基于数据驱动采样策略，通过非线性回归来确定一个邻域的实值重要性，并使用该值作为采样标准，实验表明基于值的强化学习方法能够提高 GraphSAGE 的性能。

Apr, 2019