图神经网络中谱效应的新视角
最近在图神经网络领域中,频谱图神经网络因其在频域捕捉图信号的特点而受到广泛关注,展示出在特定任务中的有希望的能力。然而,对于评估其频谱特征的系统研究还很少。此观点论文通过对超过 30 个包含 27 个相应滤波器的频谱图神经网络进行广泛的基准测试,分析和分类这些模型,并在统一框架下实现这些频谱模型,提供了对有效性和效率的多方位实验评估,并提供了在评估和选择性能良好的频谱图神经网络时的实用指南。我们的实现能够在更大的图上应用,性能可比且开销较小,可以从以下链接获得:
Jun, 2024
本文研究了基于图信号滤波器的谱图神经网络的表达能力,证明了无需非线性函数就可产生任意图信号,并建立了表达能力与图同构测试之间的联系。提出了一种名为 JacobiConv 的新型谱图神经网络,该网络能在不使用非线性函数的情况下超越所有对比算法。
May, 2022
本文总结了谱图神经网络的最新发展,包括模型、理论和应用等方面的内容,其中介绍了谱性 GNN 能够捕捉全局信息,并具有更好的可表达性和可解释性。通过对现有谱性 GNN 的分析,本文梳理了主要理论结果和应用,最后进行了定量实验来评估几种常见的谱性 GNN 模型,为未来的研究提出了一些方向。
Feb, 2023
本文提出基于 Beta 小波的图神经网络 BWGNN,包含局部化的频带通滤波器,以更好地处理异常的频谱现象,并在四个大规模异常检测数据集上证明了其有效性。
May, 2022
利用多样化光谱滤波的框架 (DSF),在光谱图神经网络的基础上,通过自动学习节点特定的滤波权重,平衡局部和全局信息以捕捉全局图特征和挖掘多样的局部模式,从而提高节点分类任务的模型性能。
Dec, 2023
重新审视最近的谱图神经网络方法用于半监督节点分类问题,认为许多当前的谱图神经网络架构可能过度设计;相反,简单的传统非参数估计方法在谱域中应用,可以替代许多深度学习启发的谱图神经网络设计;这些传统方法在各种图类型上表现良好,达到了许多常见的半监督节点分类基准的最先进性能;此外,我们还展示了最近谱图神经网络方法的性能改进可能部分归因于评估约定的变化;最后,我们对谱图滤波技术的各种超参数进行了剔除性研究。
Oct, 2023
该研究将卷积神经网络推广到高维不规则图像中,通过谱图理论提出了一种卷积滤波器设计方法,在保持线性和常数学习复杂度的同时,实现了对任意图结构的卷积作用,成功在图像识别领域实现了局部、平稳、组合特征的学习。
Jun, 2016
通过对频谱图神经网络的理论和实证分析,研究发现,低频滤波器与同质程度呈正相关关系,而高频滤波器呈负相关关系,为此引入了一种基于牛顿插值的形状感知正则化技术,使多项式频谱滤波器可以与所期望的同质程度对齐。大量实验证明了 NewtonNet 在同质和异质数据集上显示出优越性能。
Oct, 2023
基于 Laplacian 算子,谱图卷积神经网络是一种用于图数据的卷积网络,并已被证明可以稳定地在不同大小和连接性的图之间传输谱滤波器,在图回归、图分类和节点分类等任务中表现出良好的性能。
Dec, 2020
使用光谱特征的图神经网络(GNNs)已显示出有希望的结果,但由于特征向量的固有模棱两可性,这提出了一项基本挑战。已经提出了几种架构来解决这种模棱两可性,被称为光谱不变架构。其中几个著名的例子包括使用光谱距离、光谱投影矩阵或其他不变光谱特征的 GNNs 和图变换器。然而,这些光谱不变架构的潜在表达能力仍然不太清楚。本研究的目标是在使用光谱特征时获得深入的理论理解可获得的表达能力。我们首先介绍了一种用于设计光谱不变 GNNs 的统一传递信息框架,称为特征空间投影 GNN(EPNN)。全面的分析表明,EPNN 本质上统一了所有先前的光谱不变架构,因为它们要么严格不可表达,要么与 EPNN 等价。还建立了不同架构之间的细粒度表达层次结构。另一方面,我们证明了 EPNN 本身被一种最近提出的子图 GNNs 类所约束,这意味着所有这些光谱不变架构严格不可表达 3-WL。最后,我们讨论了结合更具表达能力的 GNNs 时是否可以通过使用光谱特征来获得额外的表达能力。
Jun, 2024