图神经网络的拓扑感知性和泛化性能研究

Mar, 2024

图神经网络的拓扑感知性和泛化性能研究

On the Topology Awareness and Generalization Performance of Graph Neural Networks

Junwei Su, Chuan Wu

TL;DR本文介绍了一个综合性框架，用于描述图神经网络在任何拓扑特征上的拓扑感知能力，并研究了拓扑感知对图神经网络的泛化性能的影响。通过案例研究和实证结果，发现提高图神经网络的拓扑感知能力可能会在结构组之间造成不公平的泛化，同时展示了该框架在解决图主动学习中的冷启动问题上的实际适用性。

Abstract

Many computer vision and machine learning problems are modelled as learning tasks on graphs, where graph neural networks (GNNs) have emerged as a dominant tool for learning representations of graph-structured data. A key feature of GNNs is their use of graph structures as input, enabli

graph neural networks topology awareness generalization performance topological features structural groups

发现论文，激发创造

超几何基准测试揭示了图神经网络性能与网络拓扑特征的关系

我们介绍了一个用于图机器学习的全面基准测试框架，关注 GNN 在各种网络结构上的性能，结果强调了模型性能依赖于网络结构和节点特征之间的相互作用，并为模型选择提供了见解。

Jun, 2024

图神经网络的拓扑设计：一种新的特征融合视角

通过特征融合的角度设计了新颖的 GNN 拓扑结构，进一步提高了模型容量，改善了原有 GNN 拓扑结构的问题，并通过神经架构搜索方法在八个真实数据集上进行了验证。

Dec, 2021

探索图神经网络的泛化理解

研究了图神经网络在泛化上的机制，建立了高概率边界和其对泛化差距和梯度的影响，得出结论和实验证据相符的新认识。

May, 2023

GTAGCN：广义拓扑适应图卷积网络

基于广义聚合网络和拓扑自适应图卷积网络的混合方法，适用于顺序数据和静态数据的类型，在节点和图分类中都有良好的表现。

Mar, 2024

描述拓扑对图学习任务的影响

该研究提出了一种度量指标 TopoInf，用于衡量图的拓扑结构对下游任务的影响，并通过上下文随机块模型的解耦 GNN 进行分析，证明了该度量指标的有效性。通过大量实验证明 TopoInf 是衡量拓扑影响的有效度量，并可进一步用于增强图学习。

Apr, 2024

推广路径拓扑图神经网络

图神经网络在各个领域取得了显著进展，但受到称为 1-Weisfeiler-Lehmann 测试的理论约束。尽管最新的高阶图神经网络可以克服这个限制，但它们通常集中于某些图的组成要素，如团或环。然而，我们的研究选择了一条不同的路线，侧重于路径，这在任何图中都是固有的。我们能够构建一个更一般的拓扑视角，并将它与其他拓扑领域的一些已有理论建立联系。有趣的是，在不对图的子结构作出任何假设的情况下，我们的方法在该领域超过早期的技术，达到了几个基准上的最先进性能.

Aug, 2023

自适应通用广义 PageRank 图神经网络

本文提出了一种新的广义 PageRank（GPR）图神经网络（GNN）架构，用于联合优化节点特征和拓扑信息提取，无论节点标签是同质的还是异质的。通过学习 GPR 权重，学到适应节点标签模式的权重，避免了特征信息过度平滑的问题，从而提高了在同质性和异质性数据集上的节点分类性能。

Jun, 2020

张量视图拓扑图神经网络

图分类是一项重要的图结构数据学习任务，我们提出了一种新颖的 Tensor-view 拓扑图神经网络 (TTG-NN)，利用持久同调、图卷积和张量运算构建了一种简单而有效的拓扑深度学习方法，能够同时捕捉局部和全局层面上的张量表示和图结构信息。在实际数据实验中，TTG-NN 在各种图基准数据上表现优于其他 20 种最先进的方法。

Jan, 2024

图上的拓扑池化

提出使用持久同调和地标的复合拓扑池化层并设计新的局部和全局可学习的拓扑表示方法以从图中提取有区分性的拓扑信息，该方法在 11 个不同的基准数据集上超过 18 个基线模型，显示出对比竞争对手更佳的实验表现。

Mar, 2023

图神经网络中注意力和泛化的理解

本研究关注于图神经网络中节点的注意力机制及其效果影响，特别地，对比研究了图同构网络，在设计出一系列简单的图推理任务后，研究发现在典型环境下注意力的作用微乎其微，甚至有害作用，但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件，通常需要在初始化或监督训练注意力方面下功夫，并提出了一种弱监督训练注意力的方法，实现效果与有监督学习基本一致，比无监督学习在多个数据集上都要好。

May, 2019