谱图神经网络的强大程度
本文总结了谱图神经网络的最新发展,包括模型、理论和应用等方面的内容,其中介绍了谱性 GNN 能够捕捉全局信息,并具有更好的可表达性和可解释性。通过对现有谱性 GNN 的分析,本文梳理了主要理论结果和应用,最后进行了定量实验来评估几种常见的谱性 GNN 模型,为未来的研究提出了一些方向。
Feb, 2023
使用光谱特征的图神经网络(GNNs)已显示出有希望的结果,但由于特征向量的固有模棱两可性,这提出了一项基本挑战。已经提出了几种架构来解决这种模棱两可性,被称为光谱不变架构。其中几个著名的例子包括使用光谱距离、光谱投影矩阵或其他不变光谱特征的 GNNs 和图变换器。然而,这些光谱不变架构的潜在表达能力仍然不太清楚。本研究的目标是在使用光谱特征时获得深入的理论理解可获得的表达能力。我们首先介绍了一种用于设计光谱不变 GNNs 的统一传递信息框架,称为特征空间投影 GNN(EPNN)。全面的分析表明,EPNN 本质上统一了所有先前的光谱不变架构,因为它们要么严格不可表达,要么与 EPNN 等价。还建立了不同架构之间的细粒度表达层次结构。另一方面,我们证明了 EPNN 本身被一种最近提出的子图 GNNs 类所约束,这意味着所有这些光谱不变架构严格不可表达 3-WL。最后,我们讨论了结合更具表达能力的 GNNs 时是否可以通过使用光谱特征来获得额外的表达能力。
Jun, 2024
本文建立了一个理论框架,阐明了光谱 - 时域 GNN 表达能力的基础,结果表明线性光谱 - 时域 GNN 在温和假设下是通用的,基于我们的框架,我们提出了一个名为 TGC 的简单实例,在模型效率和准确性方面显著优于绝大部分现有模型。
May, 2023
最近在图神经网络领域中,频谱图神经网络因其在频域捕捉图信号的特点而受到广泛关注,展示出在特定任务中的有希望的能力。然而,对于评估其频谱特征的系统研究还很少。此观点论文通过对超过 30 个包含 27 个相应滤波器的频谱图神经网络进行广泛的基准测试,分析和分类这些模型,并在统一框架下实现这些频谱模型,提供了对有效性和效率的多方位实验评估,并提供了在评估和选择性能良好的频谱图神经网络时的实用指南。我们的实现能够在更大的图上应用,性能可比且开销较小,可以从以下链接获得:
Jun, 2024
光谱图神经网络在空间域具有可解释性,通过建立光谱滤波和空间聚合的理论联系,揭示了光谱滤波将原始图形隐式导向适应的新图形,以进行空间聚合和反映节点之间的标签一致性,进而提出了一种新颖的空间自适应滤波 (SAF) 框架,通过光谱滤波和辅助的非局部聚合综合建模节点的相似性和差异性,在全局角度缓解了图神经网络与长距离依赖和图形异质性相关的不足,并在 13 个节点分类基准上进行了广泛实验,证明了该框架相较于现有模型的优越性。
Jan, 2024
本文介绍了一种称为 Specformer 的基于自注意机制的可学习集合对集合谱滤波器,实现对图形代表的编码,在单个样本数据集上进行测试并比其他谱 GNN 表现更好。
Mar, 2023
利用多样化光谱滤波的框架 (DSF),在光谱图神经网络的基础上,通过自动学习节点特定的滤波权重,平衡局部和全局信息以捕捉全局图特征和挖掘多样的局部模式,从而提高节点分类任务的模型性能。
Dec, 2023
提出 BernNet 作为一种新型图神经网络,它通过 Bernstein 多项式逼近设计和学习任意图谱滤波器,能够学习任意的谱滤波器而不仅仅是预定义的或无约束的,从而在现实世界的图形建模任务中取得了出色的性能表现。
Jun, 2021
空间消息传递图神经网络(MPGNNs)具有学习图结构数据的广泛应用。我们提出了时空谱图神经网络(S$^2$GNNs),它在模型中结合了空间和频谱参数化图滤波器,从而解决了目前的局限性,并且在性能上超越了现有的方法。
May, 2024
基于 Laplacian 算子,谱图卷积神经网络是一种用于图数据的卷积网络,并已被证明可以稳定地在不同大小和连接性的图之间传输谱滤波器,在图回归、图分类和节点分类等任务中表现出良好的性能。
Dec, 2020