Jun, 2023

图神经网络在恒等效果学习中的泛化限制

PDF
TL;DR在研究中，我们分析了 Graph Neural Networks 在简单认知任务中的能力，并讨论了其在学习所谓的 “identity effects” 时的一般化特性和基本限制。 我们通过两个案例研究来支持我们的理论分析。
graph neural networksmessage-passing mechanismgeneralization propertiesidentity effectstask
发现论文，激发创造
  • 身份感知图神经网络

    本文提出了一种名为 Identity-aware Graph Neural Networks (ID-GNNs) 的消息传递图神经网络，通过节点中心的次元网络和异构消息传递来考虑节点的身份，在图形预测任务中比传统的 GNNs 提供更高的准确性。

    Jan, 2021

  • 图神经网络的泛化和表征限制

    本研究关注图神经网络的本质问题：无法仅仅依靠局部信息计算多个重要的图形特征；同时提出了信息传递图神经网络的第一个数据相关泛化界限，这一分析专门考虑了 GNN 局部置换不变性，该边界比现有的基于 VC 维度的 GNN 保证要紧密，与循环神经网络的 Rademacher 界限相当。

    Feb, 2020

  • 图神经网络的能力超出我们的想象

    本研究提出一种使用特殊算法和线性代数工具来分析图神经网络 (GNNs) 的表征能力的方法，证明 NNG 可以优于 Weisfeiler-Lehman 算法，同时在图同构和图分类等数据集上进行充分实验证明了这种新型的 GNN 架构更具表达力的特点。

    May, 2022

  • Weisfeiler--Lehman goes Dynamic: 分析图神经网络在属性和动态图上的表现能力

    本文对静态无向同质图和动态图、属性图等不同类型的图中图神经网络（GNNs）的表达能力进行了理论分析，提出了适当的 1-WL 测试，并证明了 GNNs 与 1-WL 测试在区分动态图和属性图上具有相同的能力，且 GNNs 可以模拟 1-WL 测试，包括大多数实际应用中使用的静态无向同质图（SAUHGs）等。

    Oct, 2022

  • 关于几何图神经网络表达能力的研究

    本研究提出了符合物理对称性的几何图卷积神经网络测试 GWL，并使用 GWL 研究了符合物理对称性的几何图卷积神经网络的表达能力，发现等变层扩展了局部邻域之外的几何信息，高阶张量和标量化使几何图卷积神经网络具有最大的表达能力。

    Jan, 2023

  • 探索图神经网络的泛化理解

    研究了图神经网络在泛化上的机制，建立了高概率边界和其对泛化差距和梯度的影响，得出结论和实验证据相符的新认识。

    May, 2023

  • 可证明强大图网络

    本文探讨了图同构、图神经网络的表达能力及其应用。作者提出了 k - 阶不变 / 本质等变图神经网络，并将此网络应用于图分类的任务中。实验表明，模型在数据集上表现的优异，证明了本文所提出的模型是有实用价值的。

    May, 2019

  • 邻居间通信：面向强大和可扩展的图神经网络

    提出了一种基于 1-WL 和邻居之间的边缘考虑的 NC-1-WL 算法，实现了图同构测试，提高了图神经网络的可表达性；进一步提出了 NC-GNN 框架作为 NC-1-WL 的可微分神经版本，能够在各种基准测试中实现出色的性能。

    Jun, 2022

  • 基于同态性的图神经网络泛化

    通过分析图同态性的熵，我们提出了一种新的视角来研究图神经网络的泛化能力，并通过将图同态性与信息论度量联系起来，得出了适用于图和节点分类的泛化界限。通过我们提出的界限，能够捕捉到各种图结构的细微差别，包括但不限于路径、环和完全子图。通过图同态性，我们呈现了一个统一的框架，能够揭示广谱 GNN 模型的特性。通过在真实世界和人工合成数据集上观察到的泛化差距，我们验证了理论发现的实际可应用性。

    Mar, 2024

  • Weisfeiler 和 Leman 进化为神经网络：高阶图神经网络

    本文研究了图神经网络以及其理论背景并将其与 $1$-WL 算法相对比，提出了 $k$-dimensional GNNs 这一扩展方法，证明了它在处理社交网络和分子图像等高阶结构方面的有效性。

    Oct, 2018