使用残差连接和加权消息传递推广 GNNs
本文通过引入中间模型 PMLP,揭示了 GNN 的性能提升主要源于其本质上的泛化能力,而非原理层面上的增强表现力。同时,本文发现 PMLP 表现与 GNN 相当,但训练效率更高。该发现为解析 GNN 相关问题提供了新的视角。
Dec, 2022
研究了 MPNN 在图分类和回归中的泛化误差,表明 MPNN 的复杂度越高,泛化差距越大;同时,不仅训练样本数,而且图中平均节点数对泛化差距也有影响。从统一收敛结果导出泛化界限,表明在图上应用 MPNN 可以逼近离散化的几何模型上的 MPNN。
Feb, 2022
本文将图上定义的神经网络呈现为信息传递神经网络(MPNN),通过研究不同类别的这些模型的区别能力,探讨它们的识别能力,研究传统的图神经网络和卷积图神经网络对顶点进行特征标注的能力的界限,并使用 Weisfeiler-Lehman 算法对 MPNNs 的区分能力进行了上下界的研究。
Apr, 2020
提出了一种基于 1-WL 和邻居之间的边缘考虑的 NC-1-WL 算法,实现了图同构测试,提高了图神经网络的可表达性;进一步提出了 NC-GNN 框架作为 NC-1-WL 的可微分神经版本,能够在各种基准测试中实现出色的性能。
Jun, 2022
本研究关注图神经网络的本质问题:无法仅仅依靠局部信息计算多个重要的图形特征;同时提出了信息传递图神经网络的第一个数据相关泛化界限,这一分析专门考虑了 GNN 局部置换不变性,该边界比现有的基于 VC 维度的 GNN 保证要紧密,与循环神经网络的 Rademacher 界限相当。
Feb, 2020
提出了一种新的 Hierarchical Message-passing Graph Neural Networks 框架,通过生成 hierarchical structure,并采用 inra- 和 inter-level propagation manners 以及 hierarchical community detection algorithm,实现了对长程信息的高效访问,从而在节点分类、社区检测等任务中优于现有基于 GNN 的模型。
Sep, 2020
本文研究如何全面利用信息,从理论和实践上提高信息传递神经网络的表现力和可推广性,并提出一种新的名为 INGNN 的图神经网络模型,针对节点分类任务,与目前最先进的方法相比,实验证明其优越性(平均排名 1.78)。
Oct, 2022
本文提出了一个基于多层感知机的图神经网络模型 (Graph-MLP),通过利用图结构的监督信号,该模型仅使用多层感知机、激活函数和层归一化,而无需用到信息传递模块,在 loss level 中,设计了一个邻域对比损失 (NContrast),能够在大规模图数据和损坏的邻接信息中更轻巧、更强韧地进行分类任务,并证明了即使在测试阶段没有邻接信息,该模型仍然可以达到与最先进模型相媲美甚至更好的性能。
Jun, 2021