Jun, 2024

通过随机游走学习图上的长程依赖

PDF
TL;DR本文提出了一种名为 NeuralWalker 的新型架构，通过将随机游走视为序列，利用序列模型捕捉这些游走中的长程依赖关系，从而克服了消息传递图神经网络和图变换器方法的局限性，实现更具表达力的图表示，并能够使用任何序列模型来捕捉长程依赖关系，同时具备集成各种图神经网络和图变换器架构的灵活性。实验证明，NeuralWalker 在 19 个图和节点基准数据集上取得了显著的性能改进，在 PascalVoc-SP 和 COCO-SP 数据集上的性能超过现有方法高达 13%。
message-passing graph neural networksgraph transformersneuralwalkerrandom walkssequence models
发现论文，激发创造
  • 循环距离编码神经网络用于图表示学习

    通过最短距离和线性循环网络，我们提出了一种新的图神经网络架构，以解决信息提取和计算复杂度的挑战，并在各个基准测试中展示了与最新颖的图转换器相比性能具有竞争力且计算复杂度大大降低。

    Dec, 2023

  • 长距离图推理基准测试

    本研究提出了长距离图基准 (LRGB)，通过对 5 个图学习数据集进行基准测试，证明了捕获远距离依赖性的图神经网络 (MP-GNNs) 和 Transformers 架构在某些任务上性能表现明显更好，可用于衡量和探索 LRI 的 MP-GNNs 和 Graph Transformer 架构。

    Jun, 2022

  • 基于状态空间模型的图学习：图蟒

    通过选择性的状态空间模型为基础，我们提出了一种新的 GNN 类别，即图 Mamba 网络，并在理论上证明了它的能力，并且实验证明尽管计算成本大大降低，但在长距离、小规模、大规模和异源基准数据集中，GMN 表现出色。

    Feb, 2024

  • 利用全局注意力表示图神经网络的长距离上下文

    本篇论文提出了一种名为 GraphTrans 的算法，它将 Transformer 自注意力模块和标准的 GNN 模块相结合，并应用置换不变性的 Transformer 模块，从而解决了当前方法在表示长程依赖关系方面的不足。该算法在多个图分类任务上表现出色，说明纯粹的基于学习的方法可能适用于在图上学习高水平、长程的关系。

    Jan, 2022

  • 动态图消息传递网络用于视觉识别

    本论文提出了一种动态图消息传递网络，用于进行长程依赖性建模，以用于图像识别。该网络采用自适应抽样节点的方法，在传递信息时动态地预测节点相关过滤器权重和关联矩阵，以实现对自我注意机制的设计。研究结果表明，基于该模型的 Transformer 骨干网络在图像分类和物体检测等四种不同任务上，相对于现有的最先进技术，能够显著提升性能，同时性能优于完全连接的图并使用更少的浮点运算和参数。

    Sep, 2022

  • 邻居间通信：面向强大和可扩展的图神经网络

    提出了一种基于 1-WL 和邻居之间的边缘考虑的 NC-1-WL 算法，实现了图同构测试，提高了图神经网络的可表达性；进一步提出了 NC-GNN 框架作为 NC-1-WL 的可微分神经版本，能够在各种基准测试中实现出色的性能。

    Jun, 2022

  • 分级消息传递图神经网络

    提出了一种新的 Hierarchical Message-passing Graph Neural Networks 框架，通过生成 hierarchical structure，并采用 inra- 和 inter-level propagation manners 以及 hierarchical community detection algorithm，实现了对长程信息的高效访问，从而在节点分类、社区检测等任务中优于现有基于 GNN 的模型。

    Sep, 2020

  • 重温图上的随机游走学习

    通过对图的随机游走产生机器可读的记录，并通过深度神经网络处理这些记录，直接进行顶点级或图级的预测，我们重新审视了图上机器学习的一个简单思想。我们称这些随机机器为随机游走神经网络，并表明我们可以设计它们成为同构不变并具备概率下图函数的通用逼近能力。一个有用的发现是，只要顶点匿名，几乎任何种类的随机游走记录都保证了概率不变性。这使得我们能够以纯文本的形式记录随机游走，并采用语言模型读取这些文本记录以解决图任务。我们进一步使用马尔科夫链理论中的工具，建立了与消息传递神经网络的并行性，并表明随机游走神经网络在构建过程中减轻了消息传递中的过度平滑，而概率性不达到则表现为概率性不足。我们展示了基于预训练模型的随机游走神经网络能够解决图上的一些难题，如分离三阶通用 WL 测试失败的强正则图、计数子结构和在 arXiv 引用网络上进行传导分类，而无需训练。代码可在此链接中获取。

    Jul, 2024

  • 路径神经网络：表现力强且准确的图神经网络

    本文引入 Path Neural Network 模型来提高图表达的表达能力，实验证明该模型比 1-WL 算法更加强大，且在图分类和图回归任务中表现良好。

    Jun, 2023

  • 基于随机游走的 1D 卷积图学习

    本研究提出了 CRaWl，一种基于 1D CNNs 处理小子图序列的神经网络架构，用于图学习，可高效地进行小子图计数和随机游走技术，并在分类和回归上的图多个基准数据集上，表现出与最新 GNN 架构匹配或优于其表现。

    Feb, 2021