一个带有近乎最优遗憾的有偏图神经网络采样器

Mar, 2021

一个带有近乎最优遗憾的有偏图神经网络采样器

A Biased Graph Neural Network Sampler with Near-Optimal Regret

Qingru Zhang, David Wipf, Quan Gan, Le Song

TL;DR在处理大型工业数据集时，考虑到 GNN 层之间的信息共享会导致大量的消息传递计算，为了解决高方差的问题，可以将 GNN 邻域抽样看作是一个多臂赌博机问题，并设计了一个新的奖励函数，可将一定程度的偏差引入样本采样中，以减少方差并避免不稳定的、可能无界的支出。

Abstract

graph neural networks (GNN) have recently emerged as a vehicle for applying deep network architectures to graph and relational data. However, given the increasing size of industrial datasets, in many practical situations the message passing computations required for sharing information

graph neural networks multi-armed bandit problem gnn training dynamics neighbor sampling variance reduction

发现论文，激发创造

用赌徒采样训练图神经网络

本文提出了一种将采样方差优化视为对手赌博问题，以加速图卷积网络和图注意力网络等图神经网络的训练的方法，并在多个数据集上展示了其有效性和高效性。

Jun, 2020

图神经网络赌博机

研究如何在具有图结构数据的情况下，使用置换不变量将图神经网络用于奖励函数的估计，并通过设计一个分阶段消去算法实现亚线性的后悔保证。

Jul, 2022

具有自适应连接采样的贝叶斯图神经网络

我们提出了一个统一的自适应连接采样框架，该框架可以泛化现有的用于训练 GNN 的随机正则化方法，并消除深度 GNN 的过度平滑和过拟合趋势，并允许在 GNN 图分析任务中具有不确定性的学习。将自适应连接采样与 GNN 模型参数以全局和局部方式联合训练，证明了使用自适应连接采样自适应性地学习给定图形训练数据的采样率是提高 GNN 性能的关键。

Jun, 2020

深度图神经网络与浅层子图采样器

本研究提出了一种 “深 GNN，浅采样器” 设计规则，通过利用深层次的 GNN 在一个浅层、局部的子图内传递信息，避免了在全局范围内过度平滑和邻域爆炸的问题，从而提高了 GNN 的准确性和效率。通过采用各种子图采样算法和神经架构扩展，研究人员在最大的公共图形数据集上取得了最先进的准确性，同时大幅减少了硬件成本。

Dec, 2020

图神经汤普森采样

我们提出了一种基于图神经网络和汤普森抽样算法的在线决策问题求解方法，该方法在估计奖励函数的平均值和不确定性估计方面利用了图神经网络近似器，并证明在一定奖励函数边界的假设下，该方法在交互轮次数量和有效维度上能够达到线性次数的亚线性遗憾界，并且与图节点数量无关。实证结果验证了我们提出的方法在图行动赌博问题上具有竞争力的表现并且能够良好地扩展。

Jun, 2024

分析 GNN 中采样对个体公平性的影响

使用小批量训练图神经网络的现有方法提高个体公平性，这对于在推荐系统中应用 GNN 具有重要意义。使用两种 GNN 方法进行评估，证明了利用小批量训练的图神经网络能够实现不仅相当的准确度，而且还能达到更好的公平性，其重要性在于利用局部细节来指导表示学习中的公平性促进过程。

Sep, 2022

Bregman 图神经网络

本文提出了一种灵感来自 Bregman 距离概念的 GNNs 的新型双层优化框架，通过引入类似于 “跳跃连接” 的机制，有效地缓解了过度平滑问题，并证明了该方法在同质性和异质性图中优于原始 GNNs。实验证明，即使层数较高，Bregman GNNs 也能产生更稳健的学习精度，表明了该方法在缓解过度平滑问题方面的有效性。

Sep, 2023

基于最小方差的采样方法用于图神经网络的快速训练

本研究分析了现有采样方法中存在的方差问题，提出了一种基于梯度信息和嵌入逼近的解耦合方差缩减策略，该方法即使在更小的批量尺寸下也具有更快的收敛速度和更好的泛化效果。

Jun, 2020

常数时间图神经网络

本文介绍一种新型的节点采样方案，可以将图神经网络扩展到大规模网络中，同时保证了理论上的误差，并通过实验验证了该方案的速度和准确性。

Jan, 2019

图神经臂带

通过图神经网络，本论文提出了一种名为图神经赌博（GNB）的框架，旨在利用用户之间的协作特性来提高在线推荐系统的性能，并通过理论分析和实证研究验证了我们提出的框架的有效性。

Aug, 2023