Jun, 2024

表达能力与泛化性：分子 GNN 的片段偏倚

PDF
TL;DR通过理论分析和扩展 Fragment-WL 测试，我们提出了一种基于片段信息的高阶图神经网络架构，大大增强了理论表达力，并在合成和真实数据中优于其它片段偏置模型，以及与最新的基于 Transformer 的架构相比表现出更强大的泛化能力，成为分子建模任务的可靠解决方案。
发现论文，激发创造
  • 基于片段的分子图预训练与微调

    利用基于片段的对比学习方法，在分子图预测性质方面取得了良好表现并提高了长程生物标准的预测效果。

    Oct, 2023

  • 通过图二连通性重新思考 GNN 的表达能力

    本文提出了一种基于图双连通性的表达能力度量方法，发现大多数常见 GNN 架构在此度量下缺乏表达能力，但 ESAN 框架具有可证明的表达能力。作者进一步引入 GD-WL 模型，该模型可通过 Transformer 与 Weisfeiler-Lehman 算法相结合来计算表达能力，并通过实验表明其在绝大多数数据集上效果显著优于现有 GNN 架构。

    Jan, 2023

  • 关于几何图神经网络表达能力的研究

    本研究提出了符合物理对称性的几何图卷积神经网络测试 GWL，并使用 GWL 研究了符合物理对称性的几何图卷积神经网络的表达能力，发现等变层扩展了局部邻域之外的几何信息，高阶张量和标量化使几何图卷积神经网络具有最大的表达能力。

    Jan, 2023

  • 图神经网络在恒等效果学习中的泛化限制

    在研究中，我们分析了 Graph Neural Networks 在简单认知任务中的能力，并讨论了其在学习所谓的 “identity effects” 时的一般化特性和基本限制。 我们通过两个案例研究来支持我们的理论分析。

    Jun, 2023

  • Weisfeiler--Lehman goes Dynamic: 分析图神经网络在属性和动态图上的表现能力

    本文对静态无向同质图和动态图、属性图等不同类型的图中图神经网络（GNNs）的表达能力进行了理论分析，提出了适当的 1-WL 测试，并证明了 GNNs 与 1-WL 测试在区分动态图和属性图上具有相同的能力，且 GNNs 可以模拟 1-WL 测试，包括大多数实际应用中使用的静态无向同质图（SAUHGs）等。

    Oct, 2022

  • 图形神经网络扩展的理论比较

    本文研究和比较了不同的图神经网络扩展方法，包括基于更高阶 Weisfeiler-Leman 方法、对图中小子结构进行预处理、对图进行局部预处理和计算嵌入等方法，并通过一系列实例构造比较了这些方法的表达能力。

    Jan, 2022

  • 超越 Weisfeiler-Lehman: 一个用于 GNN 表达能力的定量框架

    基于同态表示的图神经网络（Graph Neural Networks）的表达能力及其在子图计数等实际需求方面的量化研究。

    Jan, 2024

  • 可证明强大图网络

    本文探讨了图同构、图神经网络的表达能力及其应用。作者提出了 k - 阶不变 / 本质等变图神经网络，并将此网络应用于图分类的任务中。实验表明，模型在数据集上表现的优异，证明了本文所提出的模型是有实用价值的。

    May, 2019

  • 图神经网络的细粒度表达能力

    该研究探讨了基于图神经网络的表达能力，提出了一种连续化的方法来反映图之间的相似程度并给出了各种拓扑特征的理论框架来描述基于树距离的图表达能力。

    Jun, 2023

  • 边缘上的 Weisfeiler-Leman：当更多的表达能力很重要

    增强 Weisfeiler-Leman 算法和消息传递图神经网络的表达力的关系对于改进概括能力的条件是不明确的。通过引入子图信息和经典边界理论来探索这种表达力增强和概括能力改善的条件，并提出具有可证明概括性质的基于 $1$-WL 的核和消息传递图神经网络架构的变体。

    Feb, 2024