灵活表示多模块图神经网络以实现更好的泛化
提出了一个名为GRAPH RANDOM NEURAL NETWORKS (GRAND)的图随机神经网络框架,通过设计随机传播策略来进行图数据增强,并利用一致性正则化优化不同数据增强下未标记节点的预测一致性,实验证明该方法显著优于现有的基准GNN在半监督节点分类上,并且缓解了过度平滑和非鲁棒性问题,展现了比现有GNN更好的泛化行为。
May, 2020
本文分析了具有随机节点初始化的GNNs的表达力,证明了这些模型是通用的,这是GNNs的首个不依赖于计算要求更高阶特性的结果。我们基于精心构建的数据集,对RNI对GNNs的影响进行了经验分析。我们的实证结果支持RNI对于GNNs的优异表现。
Oct, 2020
本文针对图形分布中局部结构与图形大小相关的情况,探讨了图神经网络在不同大小的图上的泛化能力,发现了一些针对小图很好但对大图表现不佳的全局最小值,提出了两种改善图形大小泛化能力的方法,其中包括一个自我监督学习任务,该任务能够提供在大图中出现的局部结构的有意义表示,并在多个数据集上改善了分类准确度。
Oct, 2020
本研究提出一种基于规则化策略的方法,能够在只有训练数据而没有测试数据的情况下,提高图神经网络在更大规模的图上的泛化能力,从而改善图分类的性能。实验结果表明,流行的 GNN 模型在我们的规则化策略下,在 50% 规模最小的图上进行训练,在 10% 规模最大的图上进行测试时,性能提高了达到 30%。
Jul, 2022
本文通过引入中间模型PMLP,揭示了GNN的性能提升主要源于其本质上的泛化能力,而非原理层面上的增强表现力。同时,本文发现PMLP表现与GNN相当,但训练效率更高。该发现为解析GNN相关问题提供了新的视角。
Dec, 2022
本文旨在加深对大型图上图神经网络(GNNs)的理论理解,特别是着重于它们的表达能力。通过对等变GNNs生成的函数空间进行更完整和直观的描述,我们强调了输入节点特征的作用,并研究了节点位置编码(PEs)的影响,这是最近一项在实践中表现出卓越成果的研究。通过对大型随机图的PEs的研究,我们将先前已知的普适性结果扩展到了更为普遍的模型,同时提出了一些规范化技巧,这在合成和实际数据上得到了正面的验证。
May, 2023
本研究探讨了图神经网络在分布发生偏移的情况下的泛化能力问题,并提出了学习重加权以增强泛化能力的新方法L2R-GNN,通过对图表示变量进行聚类和学习权重以去除不同类别之间的相关性,有效改善了图神经网络的泛化能力,并在各种图预测基准测试中取得了优异的性能。
Dec, 2023
通过分析图同态性的熵,我们提出了一种新的视角来研究图神经网络的泛化能力,并通过将图同态性与信息论度量联系起来,得出了适用于图和节点分类的泛化界限。通过我们提出的界限,能够捕捉到各种图结构的细微差别,包括但不限于路径、环和完全子图。通过图同态性,我们呈现了一个统一的框架,能够揭示广谱 GNN 模型的特性。通过在真实世界和人工合成数据集上观察到的泛化差距,我们验证了理论发现的实际可应用性。
Mar, 2024