Jun, 2021

Graph-MLP: 图中节点分类不需要消息传递

PDF
TL;DR本文提出了一个基于多层感知机的图神经网络模型 (Graph-MLP)，通过利用图结构的监督信号，该模型仅使用多层感知机、激活函数和层归一化，而无需用到信息传递模块，在 loss level 中，设计了一个邻域对比损失 (NContrast)，能够在大规模图数据和损坏的邻接信息中更轻巧、更强韧地进行分类任务，并证明了即使在测试阶段没有邻接信息，该模型仍然可以达到与最先进模型相媲美甚至更好的性能。
发现论文，激发创造
  • 超图多层感知机：无需消息传递的超图学习

    通过将关于超图结构的信息整合到训练监督中，我们提出了一种新的学习框架 Hypergraph-MLP，它使用基于超图信号平滑性的损失函数来监督简单的 MLP 模型，在超图节点分类任务中表现出与现有基线相比具有竞争力的性能，并且在推理时更快且更稳健对结构扰动。

    Dec, 2023

  • 从对比链接中提取自我知识以对图节点进行分类，无需传递消息

    本研究发展出一种名为 LinkDist 的方法，它利用连接节点对的自身知识来提取无需聚合消息的多层感知机 (MLP)，并在半监督和全监督节点分类方面表现出与 GNNs 相对可比的准确性。此外，LinkDist 从其非消息传递范式中受益，我们可以用对比的方式从任意抽样的节点对中提取自知识，从而进一步提高 LinkDist 的性能。

    Jun, 2021

  • 图神经网络与图增强型多层感知机比较

    本文比较了多层图神经网络和一种被称为图增强多层感知器的简化替代品之间的表现，其中后者首先通过图上的某些多跳算子增强节点特征，然后以节点方式应用 MLP；并证明了 GA-MLP 具备适当算子的情况下，能像 Weifeiler-Lehman（WL）测试一样，理论和数值上能够区分几乎所有非同构图，但是 GA-MLP 与 GNN 之间在表达能力方面的差距随着深度呈指数增长，并且 GA-MLP 不能计算属性步行的数量，表明 GA-MLP 受其操作符族的选择限制比拥有更高学习灵活性的 GNN 更为受限，这在社区检测实验中也得到了证明。

    Oct, 2020

  • 图神经网络是内在良好的泛化器：通过建立 GNN 和 MLP 之间的联系进行深入探究

    本文通过引入中间模型 PMLP，揭示了 GNN 的性能提升主要源于其本质上的泛化能力，而非原理层面上的增强表现力。同时，本文发现 PMLP 表现与 GNN 相当，但训练效率更高。该发现为解析 GNN 相关问题提供了新的视角。

    Dec, 2022

  • 基于 $p$-Laplacian 的图神经网络

    本文提出了一种新的 GNN 模型：$^p$GNN，它实现了细胞特征和拓扑信息的同时分类，特别适用于异质图，其经过了充分的实验验证并表明表现显着优于多种 GNN 模型。

    Nov, 2021

  • 通过无监督学习在图上学习 MLP 以加速图推理

    通过无监督学习简化后的多层感知器（MLPs）在图表上进行学习，以增强泛化效果，特别是在未见节点的设置中，实现了显著的性能提升（7-26%）和图表推断加速（90-126 倍），在大规模图表数据集上优于现有基准方案。

    Feb, 2024

  • 图神经网络机器：用于表格数据学习的新模型

    近年来，对不同领域数据进行图结构化映射的兴趣日益增长。本文展示了多层感知器（MLP）等神经网络模型可以用图表示，而图神经网络（GNN）是在图上执行机器学习任务的标准工具。我们提出了一种用于表格数据的新的机器学习模型，称为图神经机器（GNM），它用几乎完全图代替了 MLP 的有向无环图，并采用同步消息传递方案。我们展示了单个 GNM 模型可以模拟多个 MLP 模型，并在多个分类和回归数据集上评估了所提出的模型。在大多数情况下，GNM 模型优于 MLP 架构。

    Feb, 2024

  • 无图神经网络：通过蒸馏教老 MLPs 新技巧

    使用知识蒸馏技术将图神经网络（GNNs）和多层感知器（MLPs）相结合，提出了无图依赖的神经网络 GLNNs，并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近，适用于延迟受限的应用程序。

    Oct, 2021

  • 无需 GNN 的图节点分类

    不需要训练或测试过程中使用图神经网络的全新节点分类方法，通过平滑性约束、伪标记迭代和邻域标签直方图的三个关键组成部分，可以在标准流行基准测试中达到业界最先进的准确性，如引文和共购买网络。

    Feb, 2024

  • SA-MLP: 将 GNN 中的图知识蒸馏为结构感知的 MLP

    采用结构感知的多层感知机（SA-MLP）来代替节点再递归获取和聚合并加入结构信息以提高大规模图上的推理加速，并且引入了结构混合知识蒸馏策略以增强 MLPs 学习结构信息的能力并在传递性和归纳性场景下对 8 个基准数据集进行广泛实验，从而比教师 GNN 更加出色地实现了快速推理。

    Oct, 2022