GRAPES: 学习对于可扩展图神经网络进行图样本采样

Oct, 2023

GRAPES: 学习对于可扩展图神经网络进行图样本采样

GRAPES: Learning to Sample Graphs for Scalable Graph Neural Networks

Taraneh Younesian, Thiviyan Thanapalasingam, Emile van Krieken, Daniel Daza, Peter Bloem

TL;DR图神经网络通过以各种方式聚合邻域信息来学习图中节点的表示，然而随着网络深度的增加，其感受野会呈指数增长，导致内存开销过大。为了解决图神经网络的内存问题，图采样通过在图中对节点进行采样，从而使得图神经网络能够适应更大规模的图。本文引入了 GRAPES 这一自适应图采样方法，通过学习识别用于训练图神经网络分类器的有影响力的节点集合，并利用 GFlowNet 学习节点采样概率。我们在多个小规模和大规模图数据集上评估了 GRAPES 方法，并展示了其在准确性和可扩展性方面的有效性。与现有的采样方法相比，GRAPES 方法即使在样本规模较小的情况下仍能保持高准确性，因此可以适用于非常大的图。我们的代码公开在此 https URL。

Abstract

graph neural networks (GNNs) learn the representation of nodes in a graph by aggregating the neighborhood information in various ways. As these networks grow in depth, their receptive field grows exponentially due to the increase in neighborhood sizes, resulting in high memory costs. <

graph neural networks graph sampling grapes gnn classifier scalability

发现论文，激发创造

巨型图上混合 CPU-GPU 训练的全局邻居采样

这篇论文提出了一种全局节点采样算法，名为 Global Neighborhood Sampling，以满足大规模复杂图的图神经网络训练需求，该算法能使混合 CPU-GPU 训练的高效训练成为可能，并通过实验展现了比传统邻居采样方法更加高效的结果。

Jun, 2021

自适应采样快速图表示学习

本研究提出了一种自适应逐层采样方法和跨越较远节点的消息传递方法，以解决图形卷积网络在大规模图中的可扩展性问题，并通过实验验证了其有效性和更快的收敛速度。

Sep, 2018

基于采样的图神经网络的局部图极限视角

我们提出了一种用于训练大型输入图的图神经网络（GNNs）的理论框架，通过在小型固定大小的采样子图上进行训练。在渐进理论的基础上，我们证明了在渐进意义下，通过在大型输入图的小样本上训练基于采样的 GNNs 所学习到的参数在 ε- 邻域内与在整个图上训练相同结构的结果相比具有可接受的误差。我们从 ε 的角度导出了关于采样数、图的大小和训练步骤所需的界限函数。我们的结果给出了对于在训练 GNNs 中使用采样的新颖理论理解。同时我们的结果还表明，通过在输入图的小样本上训练 GNNs，从而可以更高效地确定和选择最佳模型、超参数和采样算法。我们在大型的引文图上进行了节点分类任务的实证研究，观察到在局部子图上训练的采样 GNNs 相较于在输入图上训练的 GNNs 达到了可比较的性能，而局部子图的大小仅为原图的 1/12。

Oct, 2023

具有自适应连接采样的贝叶斯图神经网络

我们提出了一个统一的自适应连接采样框架，该框架可以泛化现有的用于训练 GNN 的随机正则化方法，并消除深度 GNN 的过度平滑和过拟合趋势，并允许在 GNN 图分析任务中具有不确定性的学习。将自适应连接采样与 GNN 模型参数以全局和局部方式联合训练，证明了使用自适应连接采样自适应性地学习给定图形训练数据的采样率是提高 GNN 性能的关键。

Jun, 2020

Ada-HGNN：自适应采样的可扩展超图神经网络

本研究介绍了一种适用于超图的新型自适应采样策略，并提出了随机超边增强技术和多层感知机模块，通过实验证明了该方法在显著降低计算和内存需求的同时，仍具备与传统超图神经网络和基线模型相当的性能水平，为在广泛应用中提高超图神经网络的可扩展性和效能铺平了道路。

May, 2024

可扩展的 Inception 图神经网络 (SIGN)

本文提出了一种新的、高效且可扩展的图深度学习架构，通过使用不同尺寸的图卷积滤波器，绕过了图采样的必要性，从而允许极快速的训练和推理，同时在比对测试中展现了与其他最先进架构相竞争的表现，对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。

Apr, 2020

图随机神经网络用于图半监督学习

提出了一个名为 GRAPH RANDOM NEURAL NETWORKS (GRAND) 的图随机神经网络框架，通过设计随机传播策略来进行图数据增强，并利用一致性正则化优化不同数据增强下未标记节点的预测一致性，实验证明该方法显著优于现有的基准 GNN 在半监督节点分类上，并且缓解了过度平滑和非鲁棒性问题，展现了比现有 GNN 更好的泛化行为。

May, 2020

数据驱动节点采样强化 GraphSAGE

本文提出了一种新的基于数据驱动采样策略，通过非线性回归来确定一个邻域的实值重要性，并使用该值作为采样标准，实验表明基于值的强化学习方法能够提高 GraphSAGE 的性能。

Apr, 2019

GraphSAINT: 基于图随机抽样的归纳学习方法

GraphSAINT 是一种基于图采样的归纳学习方法，通过采样训练图形而不是节点或边来构建小批量，以提高训练效率和准确性；在五个大图上表现出优越的性能，实现了 PPI（0.995）和 Reddit（0.970）的新的最先进的 F1 分数。

Jul, 2019

深度图神经网络与浅层子图采样器

本研究提出了一种 “深 GNN，浅采样器” 设计规则，通过利用深层次的 GNN 在一个浅层、局部的子图内传递信息，避免了在全局范围内过度平滑和邻域爆炸的问题，从而提高了 GNN 的准确性和效率。通过采用各种子图采样算法和神经架构扩展，研究人员在最大的公共图形数据集上取得了最先进的准确性，同时大幅减少了硬件成本。

Dec, 2020