图神经网络的特征扩展
本文总结了谱图神经网络的最新发展,包括模型、理论和应用等方面的内容,其中介绍了谱性 GNN 能够捕捉全局信息,并具有更好的可表达性和可解释性。通过对现有谱性 GNN 的分析,本文梳理了主要理论结果和应用,最后进行了定量实验来评估几种常见的谱性 GNN 模型,为未来的研究提出了一些方向。
Feb, 2023
本文提出了一种新的方法,用于可视化和理解神经网络输出层之前的向量空间,旨在揭示分类任务下的深层特征向量属性,特别是过拟合现象在特征空间中的本质和其对进一步应用的负面影响,并对其进行了真实应用场景的评估,证明了其突出性能优势。
Jun, 2020
本研究旨在通过研究梯度下降训练中神经网络中的特征学习理论中图卷积的作用,提供了两层图卷积网络与两层卷积神经网络之间的信号学习和噪声记忆的不同表征,发现图卷积显着增强了对手 CNN 的良性过拟合的范围,并且在梯度下降训练后, GNNs 和 MLPs 在特征学习和泛化能力方面存在重大差异,这一结论在我们的实证模拟中得到了进一步证实。
Jun, 2023
使用光谱特征的图神经网络(GNNs)已显示出有希望的结果,但由于特征向量的固有模棱两可性,这提出了一项基本挑战。已经提出了几种架构来解决这种模棱两可性,被称为光谱不变架构。其中几个著名的例子包括使用光谱距离、光谱投影矩阵或其他不变光谱特征的 GNNs 和图变换器。然而,这些光谱不变架构的潜在表达能力仍然不太清楚。本研究的目标是在使用光谱特征时获得深入的理论理解可获得的表达能力。我们首先介绍了一种用于设计光谱不变 GNNs 的统一传递信息框架,称为特征空间投影 GNN(EPNN)。全面的分析表明,EPNN 本质上统一了所有先前的光谱不变架构,因为它们要么严格不可表达,要么与 EPNN 等价。还建立了不同架构之间的细粒度表达层次结构。另一方面,我们证明了 EPNN 本身被一种最近提出的子图 GNNs 类所约束,这意味着所有这些光谱不变架构严格不可表达 3-WL。最后,我们讨论了结合更具表达能力的 GNNs 时是否可以通过使用光谱特征来获得额外的表达能力。
Jun, 2024
该论文提出一种简单而新颖的策略,通过同时翻转初始特征和超平面来创造额外的空间,以有效缓解图神经网络中的过拟合问题,并在真实世界数据集上进行了广泛实验,证明该技术将节点分类准确率提高了高达 40.2%。
Nov, 2022
本文提出了一种基于图神经网络的特征选择方法,通过解耦节点特征聚合和网络深度,采用 softmax 和 Hop-Normalization 技术,使得模型在节点分类任务中取得了 64% 以上的精度,其学习到的精选参数可以用于研究预测任务中特征的重要性,同时在大型图中拥有可扩展性。
May, 2021
本研究提出了一种特征选择 Graph Neural Network(FSGNN)模型,通过解耦节点特征聚合步骤和深度,使用 softmax 作为聚合的特征的正则化器和 L2 规范化技术,实现了对不同聚合的特征的作用进行实证分析,最终在 9 个基准数据集上创建了一种简单而浅的模型,取得了比现有 GNN 模型更好的性能。
Nov, 2021
本文研究了基于图信号滤波器的谱图神经网络的表达能力,证明了无需非线性函数就可产生任意图信号,并建立了表达能力与图同构测试之间的联系。提出了一种名为 JacobiConv 的新型谱图神经网络,该网络能在不使用非线性函数的情况下超越所有对比算法。
May, 2022
本研究提出了一个基于神经脉冲的建模框架,使得 SNN 网络可以直接应用于处理图形数据。通过空时展开的神经脉冲数据流,我们将图形卷积滤波器与神经脉冲动力学相结合,并提出了一种适用于 SNN 的空时特征归一化技术 (STFN),并将其实例化为两个脉冲图形模型。在三个节点分类基准上验证了我们的模型的性能,包括 Cora,Citeseer 和 Pubmed。实验结果表明,我们的方法与现有的图神经网络 (GNN) 模型相比具有可比性,但计算成本明显更低,可以在神经形态硬件上得到很好的应用。
Jun, 2021