Feb, 2024

信息绕路：一种简单而有效的循环表示表达图学习

PDF
TL;DR藉由引入消息绕行概念，本研究在整个图中 hierarchically 描述周期表示，以解决计算高阶拓扑特征所面临的挑战，并展示其在图学习领域的较低计算要求下与高阶 Weisfeiler-Lehman (WL) 测试相当的表达能力。此外，本研究结合了图核和消息传递神经网络，提出了一种新颖的消息绕行神经网络，采用 Transformer 骨干在节点和边之间整合周期表示。除了理论结果外，基于各种基准数据集的实验结果表明，消息绕行在表达能力、图分类和节点分类方面明显优于当前现有方法。
graph learninghigh-order graphletsmessage detouringtopological feature representationsmessage detouring neural network
发现论文，激发创造
  • 拓扑神经网络：通过高阶交互缓解图神经网络的瓶颈问题

    图神经网络在图结构化数据的表示学习任务中具有捕捉局部和全局模式的能力，但是长程和高阶依赖性带来了挑战。为了解决此问题，该论文提出了拓扑神经网络，并引入了基于拓扑结构的消息传递机制和多元关系归纳偏置，以更好地捕捉依赖关系和设计各向异性聚合方法。此外，还介绍了增强型细胞同构网络，通过增加拓扑消息传递机制，使环形结构中的节点组之间能够直接进行交互。

    Feb, 2024

  • 分子图的定向消息传递

    本文提出了一种新的分子性质预测方法：基于方向信息的消息传递神经网络（DimeNet），该方法使用定向的信息传递方式和球 Bessel 函数及球面谐波函数构建新的表征表示，其预测性能优于以往基于 GNNs 的模型。

    Mar, 2020

  • 分层互信息传递用于分子图学习

    使用层次神经消息传递结构对分子图进行学习，并在 ZINC 数据集和 MoleculeNet 基准集的数据集上验证其性能。

    Jun, 2020

  • 有序 GNN: 排序消息传递以应对异质性和过度平滑

    本文提出了一种基于树的层次结构和有序神经元的图神经网络方法，解决了图中多次信息传递导致的过度平滑和异质性问题。实验证明，该方法在同质性和异质性场景下均能取得最优表现，并能有效防止图模型存在的过度平滑问题。

    Feb, 2023

  • 使用通信消息传递 Transformer 学习带属性的图表示

    提出了一种使用 Transformer 结构的通信信息传递神经网络 (CoMPT), 以加强节点和边之间的消息交互，提高分子图的表示能力，在七个化学性质数据集和两个化学位移数据集上的实验证明了所提出模型的卓越性能。

    Jul, 2021

  • 使用一阶消息传递进行超图节点表示学习

    本研究提出了一种新颖的单阶段信息传递范式，用于超图中的全局和局部信息传播模型，在超图节点表示学习的 Transformer 框架 HGraphormer 中引入此范式，通过结合注意力矩阵和超图拉普拉斯矩阵将超图结构信息注入 Transformer，实验表明 HGraphormer 在半监督超节点分类任务上表现优于最新的超图学习方法，提升准确率在 2.52% 至 6.70% 之间。

    Dec, 2023

  • 使用结构消息传递构建强大且等变的图神经网络

    通过在节点特征的基础上传播节点的 One-hot 编码，以学习每个节点周围的本地上下文矩阵以及保证置换等变性的消息和更新函数，我们提出了一种具有强大表达能力和等变性的消息传递框架，用于对图形网络进行建模，实验表明本模型可以更准确地预测合成数据上的图形拓扑性质，并在 ZINC 数据集的分子图回归任务中取得了最优结果。

    Jun, 2020

  • 从多阶相互作用中发现并解释图神经网络的表示瓶颈

    本文探讨了图神经网络在不同复杂情况下捕捉节点之间相互作用信息的能力，并发现了当前机制存在的问题，提出了一种基于交互模式的新颖图重连方法以缓解表征瓶颈并提高性能。实验结果证明了该方法的有效性及其优于现有基准算法的表现。

    May, 2022

  • Topo-MLP：一种无需消息传递机制的单纯网络

    通过提出一种仅基于 MLP 的简化神经网络算法 Topo-MLP，可以学习简单复合物中元素的表示，而不需要明确依赖消息传递方法。该模型的简洁性使其在推理过程中更快速，并且在面对缺失或损坏的连接结构时仍然表现出鲁棒性。

    Dec, 2023

  • 高阶路径上的神经消息传递

    本文介绍了一种基于图神经网络的新模型，利用更高阶的路径传播信息，可以更准确地预测分子的一些性质，比如化学基团和分子几何结构等方面。

    Feb, 2020