具有自适应连接采样的贝叶斯图神经网络

Jun, 2020

具有自适应连接采样的贝叶斯图神经网络

Bayesian Graph Neural Networks with Adaptive Connection Sampling

Arman Hasanzadeh, Ehsan Hajiramezanali, Shahin Boluki, Mingyuan Zhou, Nick Duffield...

TL;DR我们提出了一个统一的自适应连接采样框架，该框架可以泛化现有的用于训练 GNN 的随机正则化方法，并消除深度 GNN 的过度平滑和过拟合趋势，并允许在 GNN 图分析任务中具有不确定性的学习。将自适应连接采样与 GNN 模型参数以全局和局部方式联合训练，证明了使用自适应连接采样自适应性地学习给定图形训练数据的采样率是提高 GNN 性能的关键。

Abstract

We propose a unified framework for adaptive connection sampling in graph neural networks (GNNs) that generalizes existing stochastic regularization methods for training GNNs. The proposed framework not only allev

graph neural networks stochastic regularization adaptive connection sampling over-smoothing over-fitting

发现论文，激发创造

自适应采样快速图表示学习

本研究提出了一种自适应逐层采样方法和跨越较远节点的消息传递方法，以解决图形卷积网络在大规模图中的可扩展性问题，并通过实验验证了其有效性和更快的收敛速度。

Sep, 2018

正则化贝叶斯图卷积神经网络的邻域随机游走图采样

本论文介绍了一种新算法 ——Bayesian Graph Convolutional Network using Neighborhood Random Walk Sampling (BGCN-NRWS)，使用基于 Markov Chain Monte Carlo (MCMC) 的图采样算法利用图结构，通过使用变分推断层来减少过拟合，并且在半监督节点分类方面与现有技术保持竞争性结果。

Dec, 2021

一个带有近乎最优遗憾的有偏图神经网络采样器

在处理大型工业数据集时，考虑到 GNN 层之间的信息共享会导致大量的消息传递计算，为了解决高方差的问题，可以将 GNN 邻域抽样看作是一个多臂赌博机问题，并设计了一个新的奖励函数，可将一定程度的偏差引入样本采样中，以减少方差并避免不稳定的、可能无界的支出。

Mar, 2021

Ada-HGNN：自适应采样的可扩展超图神经网络

本研究介绍了一种适用于超图的新型自适应采样策略，并提出了随机超边增强技术和多层感知机模块，通过实验证明了该方法在显著降低计算和内存需求的同时，仍具备与传统超图神经网络和基线模型相当的性能水平，为在广泛应用中提高超图神经网络的可扩展性和效能铺平了道路。

May, 2024

常数时间图神经网络

本文介绍一种新型的节点采样方案，可以将图神经网络扩展到大规模网络中，同时保证了理论上的误差，并通过实验验证了该方案的速度和准确性。

Jan, 2019

用赌徒采样训练图神经网络

本文提出了一种将采样方差优化视为对手赌博问题，以加速图卷积网络和图注意力网络等图神经网络的训练的方法，并在多个数据集上展示了其有效性和高效性。

Jun, 2020

GRAPES: 学习对于可扩展图神经网络进行图样本采样

图神经网络通过以各种方式聚合邻域信息来学习图中节点的表示，然而随着网络深度的增加，其感受野会呈指数增长，导致内存开销过大。为了解决图神经网络的内存问题，图采样通过在图中对节点进行采样，从而使得图神经网络能够适应更大规模的图。本文引入了 GRAPES 这一自适应图采样方法，通过学习识别用于训练图神经网络分类器的有影响力的节点集合，并利用 GFlowNet 学习节点采样概率。我们在多个小规模和大规模图数据集上评估了 GRAPES 方法，并展示了其在准确性和可扩展性方面的有效性。与现有的采样方法相比，GRAPES 方法即使在样本规模较小的情况下仍能保持高准确性，因此可以适用于非常大的图。我们的代码公开在此 https URL。

Oct, 2023

基于采样的图神经网络的局部图极限视角

我们提出了一种用于训练大型输入图的图神经网络（GNNs）的理论框架，通过在小型固定大小的采样子图上进行训练。在渐进理论的基础上，我们证明了在渐进意义下，通过在大型输入图的小样本上训练基于采样的 GNNs 所学习到的参数在 ε- 邻域内与在整个图上训练相同结构的结果相比具有可接受的误差。我们从 ε 的角度导出了关于采样数、图的大小和训练步骤所需的界限函数。我们的结果给出了对于在训练 GNNs 中使用采样的新颖理论理解。同时我们的结果还表明，通过在输入图的小样本上训练 GNNs，从而可以更高效地确定和选择最佳模型、超参数和采样算法。我们在大型的引文图上进行了节点分类任务的实证研究，观察到在局部子图上训练的采样 GNNs 相较于在输入图上训练的 GNNs 达到了可比较的性能，而局部子图的大小仅为原图的 1/12。

Oct, 2023

跳跃采样：适用于非平稳环境的简单正则化图学习

这篇论文讨论了在面对非平稳的数据环境时，如何通过使用抽样方式避免过拟合以提升图表示学习的性能并加以应用于推荐系统，实验结果显示该方法能够显著提高 GNN 模型的预测准确性并减轻平滑过度问题。

Jun, 2020

深度图神经网络与浅层子图采样器

本研究提出了一种 “深 GNN，浅采样器” 设计规则，通过利用深层次的 GNN 在一个浅层、局部的子图内传递信息，避免了在全局范围内过度平滑和邻域爆炸的问题，从而提高了 GNN 的准确性和效率。通过采用各种子图采样算法和神经架构扩展，研究人员在最大的公共图形数据集上取得了最先进的准确性，同时大幅减少了硬件成本。

Dec, 2020