Oct, 2020

图神经网络与图增强型多层感知机比较

PDF
TL;DR本文比较了多层图神经网络和一种被称为图增强多层感知器的简化替代品之间的表现，其中后者首先通过图上的某些多跳算子增强节点特征，然后以节点方式应用 MLP；并证明了 GA-MLP 具备适当算子的情况下，能像 Weifeiler-Lehman（WL）测试一样，理论和数值上能够区分几乎所有非同构图，但是 GA-MLP 与 GNN 之间在表达能力方面的差距随着深度呈指数增长，并且 GA-MLP 不能计算属性步行的数量，表明 GA-MLP 受其操作符族的选择限制比拥有更高学习灵活性的 GNN 更为受限，这在社区检测实验中也得到了证明。
graph neural networksgraph-augmented multi-layer perceptronsgraph isomorphism testingexpressive powercommunity detection
发现论文，激发创造
  • 图神经网络是内在良好的泛化器：通过建立 GNN 和 MLP 之间的联系进行深入探究

    本文通过引入中间模型 PMLP，揭示了 GNN 的性能提升主要源于其本质上的泛化能力，而非原理层面上的增强表现力。同时，本文发现 PMLP 表现与 GNN 相当，但训练效率更高。该发现为解析 GNN 相关问题提供了新的视角。

    Dec, 2022

  • 图神经网络的能力超出我们的想象

    本研究提出一种使用特殊算法和线性代数工具来分析图神经网络 (GNNs) 的表征能力的方法，证明 NNG 可以优于 Weisfeiler-Lehman 算法，同时在图同构和图分类等数据集上进行充分实验证明了这种新型的 GNN 架构更具表达力的特点。

    May, 2022

  • 无图神经网络：通过蒸馏教老 MLPs 新技巧

    使用知识蒸馏技术将图神经网络（GNNs）和多层感知器（MLPs）相结合，提出了无图依赖的神经网络 GLNNs，并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近，适用于延迟受限的应用程序。

    Oct, 2021

  • 图神经网络机器：用于表格数据学习的新模型

    近年来，对不同领域数据进行图结构化映射的兴趣日益增长。本文展示了多层感知器（MLP）等神经网络模型可以用图表示，而图神经网络（GNN）是在图上执行机器学习任务的标准工具。我们提出了一种用于表格数据的新的机器学习模型，称为图神经机器（GNM），它用几乎完全图代替了 MLP 的有向无环图，并采用同步消息传递方案。我们展示了单个 GNM 模型可以模拟多个 MLP 模型，并在多个分类和回归数据集上评估了所提出的模型。在大多数情况下，GNM 模型优于 MLP 架构。

    Feb, 2024

  • Graph-MLP: 图中节点分类不需要消息传递

    本文提出了一个基于多层感知机的图神经网络模型 (Graph-MLP)，通过利用图结构的监督信号，该模型仅使用多层感知机、激活函数和层归一化，而无需用到信息传递模块，在 loss level 中，设计了一个邻域对比损失 (NContrast)，能够在大规模图数据和损坏的邻接信息中更轻巧、更强韧地进行分类任务，并证明了即使在测试阶段没有邻接信息，该模型仍然可以达到与最先进模型相媲美甚至更好的性能。

    Jun, 2021

  • 图神经网络的能力有多强？

    本文提出了一种理论框架来分析图神经网络的表达能力和限制，并阐述了如何有效地捕捉不同的图结构。通过提出的一个简单的架构，实验验证了理论的发现，并取得了最先进的性能。

    Oct, 2018

  • 让我们达成一致：比较基于消息传递框架下的图卷积网络

    本文将图上定义的神经网络呈现为信息传递神经网络（MPNN），通过研究不同类别的这些模型的区别能力，探讨它们的识别能力，研究传统的图神经网络和卷积图神经网络对顶点进行特征标注的能力的界限，并使用 Weisfeiler-Lehman 算法对 MPNNs 的区分能力进行了上下界的研究。

    Apr, 2020

  • 图神经网络的细粒度表达能力

    该研究探讨了基于图神经网络的表达能力，提出了一种连续化的方法来反映图之间的相似程度并给出了各种拓扑特征的理论框架来描述基于树距离的图表达能力。

    Jun, 2023

  • 路径神经网络：表现力强且准确的图神经网络

    本文引入 Path Neural Network 模型来提高图表达的表达能力，实验证明该模型比 1-WL 算法更加强大，且在图分类和图回归任务中表现良好。

    Jun, 2023

  • 嵌套图神经网络

    这篇论文提出了 Nested Graph Neural Networks (NGNNs) 框架，通过将节点表示编码为子图而不是子树来表示整个图，从而比 1-WL 更强大地区分几乎所有 r 正则图，并且在基准数据集上表现出高度竞争性表现。

    Oct, 2021