探索图神经网络的泛化理解

May, 2023

Towards Understanding the Generalization of Graph Neural Networks

Huayi Tang, Yong Liu

TL;DR研究了图神经网络在泛化上的机制，建立了高概率边界和其对泛化差距和梯度的影响，得出结论和实验证据相符的新认识。

Abstract

graph neural networks (GNNs) are the most widely adopted model in graph-structured data oriented learning and representation. Despite their extraordinary success in real-world applications, understanding their working mechanism by theory is still on primary stage. In this paper, we mov

graph neural networks generalization gap stochastic optimization transductive learning empirical evidence

发现论文，激发创造

图机器学习基础的未来方向

机器学习与图神经网络，尤其是使用图神经网络（GNN）的机器学习，在各个领域的图数据广泛应用中受到了广泛关注。然而，对于 GNN 的性质仍存在理论上的不完备性。最近的理论进展主要集中于阐明 GNN 的粗粒度表达能力，主要使用组合技巧。然而，这些研究与实践并不完全一致，特别是在理解使用随机一阶优化技术训练时 GNN 的泛化行为方面。在本文中，我们将论证图机器学习社区需要将关注点转向发展一个更加平衡的图机器学习理论，重点研究表达能力、泛化和优化的相互作用。

Feb, 2024

灵活表示多模块图神经网络以实现更好的泛化

本文研究了图神经网络的可扩展性和推广性，并提出了灵活的 GNNs 框架，通过多种节点更新函数和内部循环优化，使网络能够灵活适应新图并在多项推理任务中提高泛化能力。

Sep, 2022

揭开图：图神经网络与图生成

综述了图神经网络 (GNNs) 的应用、图数据和深度学习的扩展，以及 GNNs 的高级领域：图生成。

Mar, 2024

朝向因果分类的图神经网络的全面研究

研究发现了图神经网络在因果分析方面的潜力，通过评估不同数据环境中九个基准图分类模型的效率和灵活性，突显了预测能力以及需求进一步提升的领域。

Jan, 2024

图神经网络：方法和应用综述

本文介绍了图神经网络（GNNs）的设计管道，详细讨论了其各个组成部分的变体，对其应用进行了系统分类，并提出了四个开放性问题供未来研究。

Dec, 2018

图神经网络在统计泛化中的多样视角

通过流形理论，分析在由流形样本构造的图上操作的图神经网络的统计泛化差距，研究了图神经网络在节点级和图级任务上的泛化差距。在训练图中节点数量增加时，泛化差距减小，从而保证图神经网络对流形上的未见点的泛化性能。通过多个真实世界数据集验证了我们的理论结果。

Jun, 2024

图神经网络是内在良好的泛化器：通过建立 GNN 和 MLP 之间的联系进行深入探究

本文通过引入中间模型 PMLP，揭示了 GNN 的性能提升主要源于其本质上的泛化能力，而非原理层面上的增强表现力。同时，本文发现 PMLP 表现与 GNN 相当，但训练效率更高。该发现为解析 GNN 相关问题提供了新的视角。

Dec, 2022

图神经网络的能力有多强？

本文提出了一种理论框架来分析图神经网络的表达能力和限制，并阐述了如何有效地捕捉不同的图结构。通过提出的一个简单的架构，实验验证了理论的发现，并取得了最先进的性能。

Oct, 2018

动态图神经网络调查

图神经网络已成为从图结构数据中有效挖掘和学习的强大工具，但大多数研究侧重于静态图，忽视了真实世界网络的动态特性，该论文提供了对基本概念、关键技术和最新动态图神经网络模型的全面综述。

Apr, 2024

图神经网络的泛化和表征限制

本研究关注图神经网络的本质问题：无法仅仅依靠局部信息计算多个重要的图形特征；同时提出了信息传递图神经网络的第一个数据相关泛化界限，这一分析专门考虑了 GNN 局部置换不变性，该边界比现有的基于 VC 维度的 GNN 保证要紧密，与循环神经网络的 Rademacher 界限相当。

Feb, 2020