使用邻域采样的小批量训练方法加速图神经网络的训练和推理过程，可在多 GPU 环境下实现。作者采用性能优化的采样器、共享内存并行化的策略以及批量传输与 GPU 计算流水线的方法对算法进行改进，并在多个基准数据集和 GNN 架构上进行了实验，取得了显著的加速效果。

Oct, 2021

本文针对训练大型图（large graph）时计算量和内存消耗高的问题，提出了一种新的采样算法（LADIES），相比于已有采样算法在时间和内存成本上有更好的表现，并且由于其随机性，具有比原始 full-batch GCN 更好的泛化精度。

Nov, 2019

本文提出了一种通信高效的邻居采样方法，用于分布式训练图卷积网络，并在节点分类基准测试中证明了该方法显著降低了通信开销，损失很少的准确性。

Jan, 2021

通过合作微批处理以及依赖性连续微批处理方法，我们在单节点多 GPU 系统上实现了高达 64% 的加速，同时减少了获取顶点嵌入的带宽消耗。

Oct, 2023

该论文介绍了一个名为 NextDoor 的系统，该系统使用称为 transit-parallelism 的新方法，在 GPU 上高效执行图形采样，并比现有系统运行得更快，该系统提供给终端用户撰写各种图形采样算法的高级抽象。

Sep, 2020

我们提出了一种用于训练大型输入图的图神经网络（GNNs）的理论框架，通过在小型固定大小的采样子图上进行训练。在渐进理论的基础上，我们证明了在渐进意义下，通过在大型输入图的小样本上训练基于采样的 GNNs 所学习到的参数在 ε- 邻域内与在整个图上训练相同结构的结果相比具有可接受的误差。我们从 ε 的角度导出了关于采样数、图的大小和训练步骤所需的界限函数。我们的结果给出了对于在训练 GNNs 中使用采样的新颖理论理解。同时我们的结果还表明，通过在输入图的小样本上训练 GNNs，从而可以更高效地确定和选择最佳模型、超参数和采样算法。我们在大型的引文图上进行了节点分类任务的实证研究，观察到在局部子图上训练的采样 GNNs 相较于在输入图上训练的 GNNs 达到了可比较的性能，而局部子图的大小仅为原图的 1/12。

Oct, 2023

本研究提出了一种自适应逐层采样方法和跨越较远节点的消息传递方法，以解决图形卷积网络在大规模图中的可扩展性问题，并通过实验验证了其有效性和更快的收敛速度。

Sep, 2018

本文提出了一种在分布式设置下使用节点采样的图神经网络的小批量训练与推断的方案，通过分析多跳邻域采样时的节点包含概率（VIP），提出基于 VIP 驱动的缓存策略，显著减少通信量，保持本地训练效率和可扩展性，并在常用节点特征上用 GPU 存储。通过 Open Graph Benchmark 数据集进行的实验表明，使用 SALIENT++ 在 8 个单 GPU 机器上训练 3 层 GraphSAGE 模型的速度比使用 SALIENT 在 1 个单 GPU 机器上快 7.1 倍，在 8 个单 GPU 机器上比使用 DistDGL 快 12.7 倍。

May, 2023

图神经网络通过以各种方式聚合邻域信息来学习图中节点的表示，然而随着网络深度的增加，其感受野会呈指数增长，导致内存开销过大。为了解决图神经网络的内存问题，图采样通过在图中对节点进行采样，从而使得图神经网络能够适应更大规模的图。本文引入了 GRAPES 这一自适应图采样方法，通过学习识别用于训练图神经网络分类器的有影响力的节点集合，并利用 GFlowNet 学习节点采样概率。我们在多个小规模和大规模图数据集上评估了 GRAPES 方法，并展示了其在准确性和可扩展性方面的有效性。与现有的采样方法相比，GRAPES 方法即使在样本规模较小的情况下仍能保持高准确性，因此可以适用于非常大的图。我们的代码公开在此 https URL。

Oct, 2023

GraphSAINT 是一种基于图采样的归纳学习方法，通过采样训练图形而不是节点或边来构建小批量，以提高训练效率和准确性；在五个大图上表现出优越的性能，实现了 PPI（0.995）和 Reddit（0.970）的新的最先进的 F1 分数。

Jul, 2019