Apr, 2023

GNNs究竟学习了什么? 探究其表征

HTML
PDF
TL;DR本文研究了四种流行的图神经网络模型，探究了在没有节点属性可用的情况下这些模型所学习的节点表示中纯粹编码的图的哪些属性，并表明其中两个将所有节点嵌入同一特征向量中，而另外两个生成与输入图上的行走数量有关的表示。值得注意的是，在图的某一层 $k>1$，结构不相似的节点如果具有相同长度的行走次数，则可以具有相似的表示。我们在真实数据集上经验证实了我们的理论发现。
发现论文，激发创造
  • 图神经网络的能力有多强？

    本文提出了一种理论框架来分析图神经网络的表达能力和限制，并阐述了如何有效地捕捉不同的图结构。通过提出的一个简单的架构，实验验证了理论的发现，并取得了最先进的性能。

    Oct, 2018

  • 图学习网络: 一种结构学习算法

    本文提出了基于图卷积神经网络的Graph Learning Network模型，用于解决社区检测、节点分类、链路预测等任务，并能够学习节点嵌入和结构预测函数。该模型能够递归地提高预测结果和嵌入质量。

    May, 2019

  • 了解图神经网络在学习图拓扑方面的表征能力

    通过研究图卷积网络的表示能力，我们发现GCNs在学习图瞬间时有一定限制，而使用不同传播规则的模块化GCN设计可以显著提高其性能和表示能力。

    Jul, 2019

  • 预训练与学习：为图神经网络保留全局信息

    该论文提出了一种名为G-GNNs的新型模型，通过无监督预训练获取节点的全局结构和属性特征，然后利用这些特征和原始网络属性，提出了一种GNN的并行框架以从这些特征中学习不同的方面。该模型的学习方法可应用于平面图和属性图，并通过 extensive experiments 在三个标准评估图上表现优异，特别地，在属性图学习方面，G-GNNs在Cora(84.31%)和Pubmed(80.95%)上建立了新的基准记录。

    Oct, 2019

  • 图神经网络中节点特征

    本文分析了节点特征对图神经网络性能的影响，提出了新的特征初始化方法，使得图神经网络也能应用到无特征图中，并探讨了人造特征和真实特征的竞争表现。

    Nov, 2019

  • 用随机节点初始化提升图神经网络的惊人能力

    本文分析了具有随机节点初始化的GNNs的表达力，证明了这些模型是通用的，这是GNNs的首个不依赖于计算要求更高阶特性的结果。我们基于精心构建的数据集，对RNI对GNNs的影响进行了经验分析。我们的实证结果支持RNI对于GNNs的优异表现。

    Oct, 2020

  • 图神经网络应该使用特征、边或两者皆有？

    本文研究了图形分类问题中图神经网络是否必要，发现对于图分类来说，GNN不仅仅是其部分之和。同时，我们还发现，与特征不同，仅使用边进行预测的模型并不总是能够转换为GNN。

    Mar, 2021

  • 图神经网络是内在良好的泛化器：通过建立GNN和MLP之间的联系进行深入探究

    本文通过引入中间模型PMLP，揭示了GNN的性能提升主要源于其本质上的泛化能力，而非原理层面上的增强表现力。同时，本文发现PMLP表现与GNN相当，但训练效率更高。该发现为解析GNN相关问题提供了新的视角。

    Dec, 2022

  • 图神经网络结构差异的解密：一个大小适合所有问题么？

    本文研究了GNN在同构和异构图中节点分类性能的差异。我们提出了一种非i.i.d PAC-Bayesian概率界，并通过特征聚合距离和同质比异质性差异解释了性能差异，并证实了较深的GNN的有效性。此外，我们发现了图形分布偏移问题的一个新因素，并提出了相应的新场景。

    Jun, 2023

  • 图分类与图神经网络：优化、表示与归纳偏差

    本研究针对图神经网络（GNNs）在表示与优化之间的差异提出了新的见解，指出现有的等价性研究忽视了优化问题。通过理论证明和实验验证，揭示了GNNs在图分类任务中存在的隐含归纳偏差，并展示了如何通过基于注意力的架构融入领域知识以更有效地识别一致子图。

    Aug, 2024