GraphSAINT: 基于图随机抽样的归纳学习方法
本文提出一种名为 FastGCN 的基于 Monte Carlo 方法的图卷积神经网络批量训练方案,实现了对于大型、密集图的高效训练和推理。实验证明该方案与 GCN 和相关模型相比,训练效率极大提高并且预测结果保持准确。
Jan, 2018
使用邻域采样的小批量训练方法加速图神经网络的训练和推理过程,可在多 GPU 环境下实现。作者采用性能优化的采样器、共享内存并行化的策略以及批量传输与 GPU 计算流水线的方法对算法进行改进,并在多个基准数据集和 GNN 架构上进行了实验,取得了显著的加速效果。
Oct, 2021
这篇论文提出了一种全局节点采样算法,名为 Global Neighborhood Sampling,以满足大规模复杂图的图神经网络训练需求,该算法能使混合 CPU-GPU 训练的高效训练成为可能,并通过实验展现了比传统邻居采样方法更加高效的结果。
Jun, 2021
本文提出了一种新的、高效且可扩展的图深度学习架构,通过使用不同尺寸的图卷积滤波器,绕过了图采样的必要性,从而允许极快速的训练和推理,同时在比对测试中展现了与其他最先进架构相竞争的表现,对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。
Apr, 2020
我们提出了一种用于训练大型输入图的图神经网络(GNNs)的理论框架,通过在小型固定大小的采样子图上进行训练。在渐进理论的基础上,我们证明了在渐进意义下,通过在大型输入图的小样本上训练基于采样的 GNNs 所学习到的参数在 ε- 邻域内与在整个图上训练相同结构的结果相比具有可接受的误差。我们从 ε 的角度导出了关于采样数、图的大小和训练步骤所需的界限函数。我们的结果给出了对于在训练 GNNs 中使用采样的新颖理论理解。同时我们的结果还表明,通过在输入图的小样本上训练 GNNs,从而可以更高效地确定和选择最佳模型、超参数和采样算法。我们在大型的引文图上进行了节点分类任务的实证研究,观察到在局部子图上训练的采样 GNNs 相较于在输入图上训练的 GNNs 达到了可比较的性能,而局部子图的大小仅为原图的 1/12。
Oct, 2023
本文提出了并行化技术,为图采样 GCN 提供卓越的可扩展性性能,在不妥协准确性的情况下,在非常大的图上实现了优秀的性能。具体地,我们保证了 GCN 的高效训练,并在计算和通信方面节约了数量级的开销,同时,我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。
Oct, 2018
本文提出 PolicyClusterGCN, 该算法基于在线强化学习框架,学习策略网络以确定 GCN 训练的良好聚类,使用 Markov 决策过程公式化策略网络,该算法在节点分类任务上实现了超越现有技术的性能。
Jun, 2023
图神经网络通过以各种方式聚合邻域信息来学习图中节点的表示,然而随着网络深度的增加,其感受野会呈指数增长,导致内存开销过大。为了解决图神经网络的内存问题,图采样通过在图中对节点进行采样,从而使得图神经网络能够适应更大规模的图。本文引入了 GRAPES 这一自适应图采样方法,通过学习识别用于训练图神经网络分类器的有影响力的节点集合,并利用 GFlowNet 学习节点采样概率。我们在多个小规模和大规模图数据集上评估了 GRAPES 方法,并展示了其在准确性和可扩展性方面的有效性。与现有的采样方法相比,GRAPES 方法即使在样本规模较小的情况下仍能保持高准确性,因此可以适用于非常大的图。我们的代码公开在此 https URL。
Oct, 2023