Jun, 2024

经典GNN是强基线：重新评估GNN用于节点分类

HTML
PDF
TL;DR在本研究中，我们对三种经典的图神经网络模型（GCN、GAT和GraphSAGE）与图转换器（GTs）进行了全面的实证分析，发现之前对GTs的声称过于夸大，而稍作超参数调整后，这些经典GNN模型在17个多样化数据集中达到了最新GTs的性能水平甚至超过。此外，我们还进行了详细的消融研究，探究了归一化、丢弃、残差连接、网络深度和知识传递模式等各种GNN配置对节点分类性能的影响。通过我们的研究，我们旨在推动图机器学习领域对实证功效提出更高的标准，鼓励更准确的模型能力比较和评估。
发现论文，激发创造
  • 图神经网络评估的陷阱

    本文探讨了现有的 Graph Neural Networks（GNN）模型评估策略的局限性，通过对四个知名 GNN 模型进行彻底的实证评估，发现只有在公平的条件下比较各种模型的性能才是合理的，简单的 GNN 架构通过超参数和训练程序的公平调整也可以胜过复杂的架构。

    Nov, 2018

  • 强大的图神经网络是否必要？对图分类的解剖

    通过对图神经网络的线性化，本文将其拆成了基于图滤波和基于集合函数的两个部分，并发现在图滤波时采用线性结构，而在集合函数时采用非线性结构，得到了同样好的结果，从而提出了更简单且高效的建模方案。

    May, 2019

  • 结合标签传播和简单模型胜过图神经网络

    通过实验证明，在许多标准的节点分类基准测试中，结合忽略图结构的浅层模型和利用标签结构相关性的两个简单的后处理步骤可以比GNN在性能上优秀或者与之匹配，同时仅需使用一小部分GNN的参数并拥有更快的运行时间。

    Oct, 2020

  • 节点分类任务中图神经网络公平比较的流程

    本研究设计了一套标准、可重复的基准测试设置，并使用多个小型和中型数据集以及7个不同模型对其进行评估，结果表明模型层数的增加并不总是能提高性能，结合节点2vec和拉普拉斯特征向量的数据增强技术可以有效提高分类任务表现。

    Dec, 2020

  • 基于图神经网络的节点分类的增强方法

    本文概述了一系列现有的技巧，并提出了一些与标签使用、损失函数制定和模型设计相关的新技巧，以显著提高各种图神经网络(GNN)架构的性能。通过进行消融研究，我们经验性地评估了它们对最终节点分类精度的影响，并证明了它们的性能得到了不断改进，通常超过了底层GNN架构变化所带来的收益。值得注意的是，许多排名前列的模型从中受益，这是我们提出的一些技术。

    Mar, 2021

  • 图神经网络是内在良好的泛化器：通过建立GNN和MLP之间的联系进行深入探究

    本文通过引入中间模型PMLP，揭示了GNN的性能提升主要源于其本质上的泛化能力，而非原理层面上的增强表现力。同时，本文发现PMLP表现与GNN相当，但训练效率更高。该发现为解析GNN相关问题提供了新的视角。

    Dec, 2022

  • GNNEvaluator: 无标签图上评估GNN性能

    本文提出了一种基于图神经网络（GNN）模型的评估框架，通过构建DiscGraph集合和训练GNNEvaluator模型来准确估计和评估GNN模型在未标注图上的节点分类准确性。

    Oct, 2023

  • 无需GNN的图节点分类

    不需要训练或测试过程中使用图神经网络的全新节点分类方法，通过平滑性约束、伪标记迭代和邻域标签直方图的三个关键组成部分，可以在标准流行基准测试中达到业界最先进的准确性，如引文和共购买网络。

    Feb, 2024

  • 图神经网络训练系统：全图与小批量的性能比较

    通过对全图训练和小批量训练系统的综合实证比较，我们发现小批量训练系统在多个数据集、GNN模型和系统配置下都比全图训练系统更快地收敛，速度提升在2.4倍至15.2倍之间。我们还发现两种训练技术在准确度上趋于相似，因此从时间达到准确度的角度比较两种类别的系统是合理的。

    Jun, 2024

  • 重新考虑用于评估GNNs的基准图分类数据集的有效性

    在图学习领域中，我们首次全面研究并明确定义了数据集有效性，通过基于公平基准测试框架的经验性协议和考虑数据集复杂性和模型性能的新指标，我们发现我们的指标与现有研究和直觉假设一致，同时通过研究内在图属性和类标签之间的相关性以及开发支持相关性可控合成数据集生成的新技术，我们揭示了某些数据集低有效性背后的原因，我们的发现为当前对基准数据集的理解提供了启示，并可推动未来图分类基准的进化。

    Jul, 2024