Specformer: 光谱图神经网络与 Transformer 的相遇
本文研究了基于图信号滤波器的谱图神经网络的表达能力,证明了无需非线性函数就可产生任意图信号,并建立了表达能力与图同构测试之间的联系。提出了一种名为 JacobiConv 的新型谱图神经网络,该网络能在不使用非线性函数的情况下超越所有对比算法。
May, 2022
使用光谱特征的图神经网络(GNNs)已显示出有希望的结果,但由于特征向量的固有模棱两可性,这提出了一项基本挑战。已经提出了几种架构来解决这种模棱两可性,被称为光谱不变架构。其中几个著名的例子包括使用光谱距离、光谱投影矩阵或其他不变光谱特征的 GNNs 和图变换器。然而,这些光谱不变架构的潜在表达能力仍然不太清楚。本研究的目标是在使用光谱特征时获得深入的理论理解可获得的表达能力。我们首先介绍了一种用于设计光谱不变 GNNs 的统一传递信息框架,称为特征空间投影 GNN(EPNN)。全面的分析表明,EPNN 本质上统一了所有先前的光谱不变架构,因为它们要么严格不可表达,要么与 EPNN 等价。还建立了不同架构之间的细粒度表达层次结构。另一方面,我们证明了 EPNN 本身被一种最近提出的子图 GNNs 类所约束,这意味着所有这些光谱不变架构严格不可表达 3-WL。最后,我们讨论了结合更具表达能力的 GNNs 时是否可以通过使用光谱特征来获得额外的表达能力。
Jun, 2024
本文总结了谱图神经网络的最新发展,包括模型、理论和应用等方面的内容,其中介绍了谱性 GNN 能够捕捉全局信息,并具有更好的可表达性和可解释性。通过对现有谱性 GNN 的分析,本文梳理了主要理论结果和应用,最后进行了定量实验来评估几种常见的谱性 GNN 模型,为未来的研究提出了一些方向。
Feb, 2023
从光谱角度处理图形生成问题,通过生成图形拉普拉斯光谱的主导部分并构建一个与它们匹配的图形来解决图形生成的问题。这种新的 GAN 模型 SPECTRE 不仅实现了比传统模型更高效的生成,还提高了模型建模的保真度,并避免了昂贵的序列生成和依赖于节点排序的问题。
Apr, 2022
利用多样化光谱滤波的框架 (DSF),在光谱图神经网络的基础上,通过自动学习节点特定的滤波权重,平衡局部和全局信息以捕捉全局图特征和挖掘多样的局部模式,从而提高节点分类任务的模型性能。
Dec, 2023
光谱图神经网络在空间域具有可解释性,通过建立光谱滤波和空间聚合的理论联系,揭示了光谱滤波将原始图形隐式导向适应的新图形,以进行空间聚合和反映节点之间的标签一致性,进而提出了一种新颖的空间自适应滤波 (SAF) 框架,通过光谱滤波和辅助的非局部聚合综合建模节点的相似性和差异性,在全局角度缓解了图神经网络与长距离依赖和图形异质性相关的不足,并在 13 个节点分类基准上进行了广泛实验,证明了该框架相较于现有模型的优越性。
Jan, 2024
本文建立了一个理论框架,阐明了光谱 - 时域 GNN 表达能力的基础,结果表明线性光谱 - 时域 GNN 在温和假设下是通用的,基于我们的框架,我们提出了一个名为 TGC 的简单实例,在模型效率和准确性方面显著优于绝大部分现有模型。
May, 2023
空间消息传递图神经网络(MPGNNs)具有学习图结构数据的广泛应用。我们提出了时空谱图神经网络(S$^2$GNNs),它在模型中结合了空间和频谱参数化图滤波器,从而解决了目前的局限性,并且在性能上超越了现有的方法。
May, 2024
本文提出 Spectral Graph Attention Network 和 SpGAT-Cheby 两种新的基于注意力机制的子图表示学习算法,具备捕捉图形全局特征和更少的学习参数的能力,通过半监督节点分类实验验证了算法的效果。
Mar, 2020