图神经网络是内在良好的泛化器：通过建立 GNN 和 MLP 之间的联系进行深入探究

ICLRDec, 2022

图神经网络是内在良好的泛化器：通过建立 GNN 和 MLP 之间的联系进行深入探究

Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs

Chenxiao Yang, Qitian Wu, Jiahua Wang, Junchi Yan

TL;DR本文通过引入中间模型 PMLP，揭示了 GNN 的性能提升主要源于其本质上的泛化能力，而非原理层面上的增强表现力。同时，本文发现 PMLP 表现与 GNN 相当，但训练效率更高。该发现为解析 GNN 相关问题提供了新的视角。

Abstract

graph neural networks (GNNs), as the de-facto model class for representation learning on graphs, are built upon the multi-layer perceptrons (MLP) architecture with additional message passing layers to allow features to flow across nodes. While conventional wisdom commonly attributes th

graph neural networks propagational mlp generalization expressivity learning behavior

发现论文，激发创造

无图神经网络：通过蒸馏教老 MLPs 新技巧

使用知识蒸馏技术将图神经网络（GNNs）和多层感知器（MLPs）相结合，提出了无图依赖的神经网络 GLNNs，并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近，适用于延迟受限的应用程序。

Oct, 2021

图神经网络与图增强型多层感知机比较

本文比较了多层图神经网络和一种被称为图增强多层感知器的简化替代品之间的表现，其中后者首先通过图上的某些多跳算子增强节点特征，然后以节点方式应用 MLP；并证明了 GA-MLP 具备适当算子的情况下，能像 Weifeiler-Lehman（WL）测试一样，理论和数值上能够区分几乎所有非同构图，但是 GA-MLP 与 GNN 之间在表达能力方面的差距随着深度呈指数增长，并且 GA-MLP 不能计算属性步行的数量，表明 GA-MLP 受其操作符族的选择限制比拥有更高学习灵活性的 GNN 更为受限，这在社区检测实验中也得到了证明。

Oct, 2020

神经网络如何外推：从前馈到图神经网络

研究使用梯度下降训练的神经网络如何外推，即他们在训练分布的支持外学习了什么。沿着这条线，作者发现了多层感知器和图神经网络的外推条件，并提供了理论和实证依据来解释图神经网络在算法任务的外推成功。

Sep, 2020

探索图神经网络的泛化理解

研究了图神经网络在泛化上的机制，建立了高概率边界和其对泛化差距和梯度的影响，得出结论和实验证据相符的新认识。

May, 2023

图神经网络从结构信息中可得证明的益处：视作特征学习角度

本研究旨在通过研究梯度下降训练中神经网络中的特征学习理论中图卷积的作用，提供了两层图卷积网络与两层卷积神经网络之间的信号学习和噪声记忆的不同表征，发现图卷积显着增强了对手 CNN 的良性过拟合的范围，并且在梯度下降训练后， GNNs 和 MLPs 在特征学习和泛化能力方面存在重大差异，这一结论在我们的实证模拟中得到了进一步证实。

Jun, 2023

图神经网络在不必要的情况下使用图

图神经网络在图数据上学习的支配方法中，普遍存在过拟合图结构的现象，本研究通过对不同图分布进行分析，提出了一种理论解释和图编辑方法，以减轻图神经网络对应该被忽略的图结构的过拟合问题，并在多个基准测试中验证了该方法的有效性。

Sep, 2023

灵活表示多模块图神经网络以实现更好的泛化

本文研究了图神经网络的可扩展性和推广性，并提出了灵活的 GNNs 框架，通过多种节点更新函数和内部循环优化，使网络能够灵活适应新图并在多项推理任务中提高泛化能力。

Sep, 2022

使用残差连接和加权消息传递推广 GNNs

本研究论文讨论了使用图神经网络（GNNs）进行学习和预测任务的关键，包括如何通过修改信息传递机制来提高学习和加快收敛。

Nov, 2023

大规模随机图上消息传递神经网络的泛化分析

研究了 MPNN 在图分类和回归中的泛化误差，表明 MPNN 的复杂度越高，泛化差距越大；同时，不仅训练样本数，而且图中平均节点数对泛化差距也有影响。从统一收敛结果导出泛化界限，表明在图上应用 MPNN 可以逼近离散化的几何模型上的 MPNN。

Feb, 2022

Graph-MLP: 图中节点分类不需要消息传递

本文提出了一个基于多层感知机的图神经网络模型 (Graph-MLP)，通过利用图结构的监督信号，该模型仅使用多层感知机、激活函数和层归一化，而无需用到信息传递模块，在 loss level 中，设计了一个邻域对比损失 (NContrast)，能够在大规模图数据和损坏的邻接信息中更轻巧、更强韧地进行分类任务，并证明了即使在测试阶段没有邻接信息，该模型仍然可以达到与最先进模型相媲美甚至更好的性能。

Jun, 2021