有效高效采样图神经网络的分层估计
本研究分析了现有采样方法中存在的方差问题,提出了一种基于梯度信息和嵌入逼近的解耦合方差缩减策略,该方法即使在更小的批量尺寸下也具有更快的收敛速度和更好的泛化效果。
Jun, 2020
我们提出了一个新方法来解决异构图中的类不平衡问题,该方法结合了生成对抗网络(GANs)和图神经网络(GNNs)的优点,通过创建合成节点和边来有效地平衡数据集。该方法直接针对数据级别的不平衡问题,并解决了数据生成过程中忽略图结构以及在下游任务中使用基于 GNN 的分类器时创建可用的合成结构的问题。同时处理节点和边的信息,通过节点增强和子图采样改善边的平衡。另外,我们的框架还整合了一个阈值策略,在训练过程中帮助确定最佳的边界阈值,避免了耗时的参数调整。在 Amazon 和 Yelp 评论数据集上的实验验证了我们提出的框架的有效性,特别是在少数节点识别方面,它在关键性能指标上始终优于基线模型,展示了其在该领域的潜力。
Dec, 2023
本研究提出了一种 “深 GNN,浅采样器” 设计规则,通过利用深层次的 GNN 在一个浅层、局部的子图内传递信息,避免了在全局范围内过度平滑和邻域爆炸的问题,从而提高了 GNN 的准确性和效率。通过采用各种子图采样算法和神经架构扩展,研究人员在最大的公共图形数据集上取得了最先进的准确性,同时大幅减少了硬件成本。
Dec, 2020
我们提出了一种用于训练大型输入图的图神经网络(GNNs)的理论框架,通过在小型固定大小的采样子图上进行训练。在渐进理论的基础上,我们证明了在渐进意义下,通过在大型输入图的小样本上训练基于采样的 GNNs 所学习到的参数在 ε- 邻域内与在整个图上训练相同结构的结果相比具有可接受的误差。我们从 ε 的角度导出了关于采样数、图的大小和训练步骤所需的界限函数。我们的结果给出了对于在训练 GNNs 中使用采样的新颖理论理解。同时我们的结果还表明,通过在输入图的小样本上训练 GNNs,从而可以更高效地确定和选择最佳模型、超参数和采样算法。我们在大型的引文图上进行了节点分类任务的实证研究,观察到在局部子图上训练的采样 GNNs 相较于在输入图上训练的 GNNs 达到了可比较的性能,而局部子图的大小仅为原图的 1/12。
Oct, 2023
本文提出了并行化技术,为图采样 GCN 提供卓越的可扩展性性能,在不妥协准确性的情况下,在非常大的图上实现了优秀的性能。具体地,我们保证了 GCN 的高效训练,并在计算和通信方面节约了数量级的开销,同时,我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。
Oct, 2018
本研究介绍了一种适用于超图的新型自适应采样策略,并提出了随机超边增强技术和多层感知机模块,通过实验证明了该方法在显著降低计算和内存需求的同时,仍具备与传统超图神经网络和基线模型相当的性能水平,为在广泛应用中提高超图神经网络的可扩展性和效能铺平了道路。
May, 2024
提出了一种基于草图的算法,其训练时间和内存随着图的大小而亚线性增长,通过在少量紧凑的图草图上训练 GNN,避免了与图大小线性相关的复杂性增长,并通过局部敏感哈希(LSH)技术提高草图的质量,实验证明了该算法在大规模图上的可扩展性和竞争性能与完整规模的 GNN 相比。
Jun, 2024