长距离图推理基准测试

Jun, 2022

Long Range Graph Benchmark

Vijay Prakash Dwivedi, Ladislav Rampášek, Mikhail Galkin, Ali Parviz, Guy Wolf...

TL;DR本研究提出了长距离图基准 (LRGB)，通过对 5 个图学习数据集进行基准测试，证明了捕获远距离依赖性的图神经网络 (MP-GNNs) 和 Transformers 架构在某些任务上性能表现明显更好，可用于衡量和探索 LRI 的 MP-GNNs 和 Graph Transformer 架构。

Abstract

graph neural networks (GNNs) that are based on the message passing (MP) paradigm generally exchange information between 1-hop neighbors to build node representations at each layer. In principle, such networks are

graph neural networks message passing long-range interactions transformer-based methods graph benchmarks

发现论文，激发创造

差距去哪了？重新评估远程图基准

该论文通过严格的经验分析重新评估了多个 MPGNN 和 Graph Transformer 的基准性能，证明了由于次优的超参数选择而导致性能差距被高估，并突出了特征归一化和复原的联系预测指标的影响，旨在建立图机器学习社区内更高的经验严谨标准。

Sep, 2023

通过随机游走学习图上的长程依赖

本文提出了一种名为 NeuralWalker 的新型架构，通过将随机游走视为序列，利用序列模型捕捉这些游走中的长程依赖关系，从而克服了消息传递图神经网络和图变换器方法的局限性，实现更具表达力的图表示，并能够使用任何序列模型来捕捉长程依赖关系，同时具备集成各种图神经网络和图变换器架构的灵活性。实验证明，NeuralWalker 在 19 个图和节点基准数据集上取得了显著的性能改进，在 PascalVoc-SP 和 COCO-SP 数据集上的性能超过现有方法高达 13%。

Jun, 2024

分子图的长程神经原子学习

通过将原子隐式转化为少数个神经原子，我们提出了一种方法来处理当前图神经网络在捕捉长程相互作用方面的不足，从而帮助改进分子性质的确定。通过在神经原子之间交换信息并将其映射回原子表示，神经原子能够在远程节点之间建立通信通道，从而有效地减小了任意节点对之间的交互范围。并且我们通过与传统的长程相互作用计算方法 Ewald Summation 的关联，从物理角度验证了我们的方法。通过在三个长程图基准上进行大量实验证明，我们的方法可以与任意图神经网络结合使用，并帮助捕捉长程相互作用。

Nov, 2023

微型图神经网络用于无线资源管理

无线资源管理的需求增加了对高效无线资源管理的精简神经网络结构的开发的需求。本文介绍了一种针对无线资源管理量身定制的图神经网络（GNN）的新方法：低秩消息传递图神经网络（LR-MPGNN）。该方法基于低秩逼近技术，将传统线性层替换为其低秩对应层，大大减小了模型尺寸和参数个数。通过多个关键指标对提出的 LR-MPGNN 模型的性能进行评估，包括模型尺寸、参数个数、通信系统的加权和速率以及权重矩阵的特征值分布。广泛的评估结果显示，LR-MPGNN 模型的模型尺寸减小了 60 倍，模型参数个数可以减少高达 98%。在性能方面，相对于原始 MPGNN 模型，LR-MPGNN 模型在最佳情况下的规范加权和速率仅降低了 2%，表现出很好的鲁棒性。此外，LR-MPGNN 模型的权重矩阵的特征值分布更加均匀，范围更广，表明了权重的战略性重新分布。

Mar, 2024

利用全局注意力表示图神经网络的长距离上下文

本篇论文提出了一种名为 GraphTrans 的算法，它将 Transformer 自注意力模块和标准的 GNN 模块相结合，并应用置换不变性的 Transformer 模块，从而解决了当前方法在表示长程依赖关系方面的不足。该算法在多个图分类任务上表现出色，说明纯粹的基于学习的方法可能适用于在图上学习高水平、长程的关系。

Jan, 2022

循环距离编码神经网络用于图表示学习

通过最短距离和线性循环网络，我们提出了一种新的图神经网络架构，以解决信息提取和计算复杂度的挑战，并在各个基准测试中展示了与最新颖的图转换器相比性能具有竞争力且计算复杂度大大降低。

Dec, 2023

图神经网络的泛化和表征限制

本研究关注图神经网络的本质问题：无法仅仅依靠局部信息计算多个重要的图形特征；同时提出了信息传递图神经网络的第一个数据相关泛化界限，这一分析专门考虑了 GNN 局部置换不变性，该边界比现有的基于 VC 维度的 GNN 保证要紧密，与循环神经网络的 Rademacher 界限相当。

Feb, 2020

基于状态空间模型的图学习：图蟒

通过选择性的状态空间模型为基础，我们提出了一种新的 GNN 类别，即图 Mamba 网络，并在理论上证明了它的能力，并且实验证明尽管计算成本大大降低，但在长距离、小规模、大规模和异源基准数据集中，GMN 表现出色。

Feb, 2024

学习具有正节点和未标记节点的图神经网络

本文提出了一种基于长短距离注意力模型的图神经网络框架，用于解决标注有限以及捕捉图中长距离关系的问题，并应用于 PU 学习与节点分类任务中，实验结果证明了算法的有效性。

Mar, 2021

图神经网络的从局部到全局视角

该论文从局部到全局的角度，介绍了图神经网络的两种类型 —— 局部信息传递神经网络和全局图变换器，并对不变图网络的收敛特性进行了研究；连接局部信息传递神经网络和全局图变换器；使用局部信息传递神经网络实现了图缩减等全局建模中常用的子程序。

Jun, 2023