具有可学习的结构和位置表示的图神经网络

Oct, 2021

具有可学习的结构和位置表示的图神经网络

Graph Neural Networks with Learnable Structural and Positional Representations

Vijay Prakash Dwivedi, Anh Tuan Luu, Thomas Laurent, Yoshua Bengio, Xavier Bresson

TL;DR本文提出了一种新的 GNN 网络架构 LSPE，通过引入可学习的位置编码对节点的结构表达和位置表达进行解耦，应用在分子数据集上的实验结果表明 LSPE 能显著提高模型性能。

Abstract

Graph neural networks (GNNs) have become the standard learning architectures for graphs. GNNs have been applied to numerous domains ranging from quantum chemistry, recommender systems to knowledge graphs and natural language processing. A major issue with arbitrary graphs is the absence of canonical positional information of nodes, which decreases the repres

graph neural network positional encoding lspe structural representation molecular datasets

发现论文，激发创造

图形位置结构编码器

GPSE 是第一个训练图编码器以捕获丰富的位置和结构编码表示来增强任何 GNN 的编码器，其可用于提取图形位置和结构信息的大型预训练模型的开发并突出它们作为明确计算 PSE 和现有的自监督预训练方法的可行替代方案。

Jul, 2023

更强大的图神经网络：等变稳定位置编码

本文讨论了使用位置编码技术来改进图神经网络在节点集合任务中预测的问题，并提出了一种被称为 PEG 的类 GNN 层，它使用单独的通道更新原始节点特征和位置特征。PEG 同时对原始节点特征施加排列等变性质，并对位置特征施加 O（p）等变性质，其中 p 是使用的位置特征的维度。在 8 个真实世界网络上的广泛链接预测实验表明，PEG 在泛化和可伸缩性方面具有优势。

Mar, 2022

广义拉普拉斯位置编码用于图表示学习

本文通过泛化定义拉普拉斯嵌入的优化问题，提出了一族新的图形式的位置编码，并讨论了一种计算这些位置编码的方法，证实了这种新的位置编码可以提高 MPNN 的表述能力，同时给出了初步的实验结果。

Oct, 2022

无位置编码的图形变换器

Eigenformer 通过一种新颖的对 Laplacian 谱意识的注意机制，在一些标准的图神经网络基准数据集上实现了与最先进的 MP-GNN 体系结构和 Graph Transformers 相当的性能，甚至在某些数据集上超越了最先进的方法。此外，我们发现我们的架构在训练速度方面要快得多，可能是由于内在的图归纳偏置。

Jan, 2024

图神经网络能在随机图上计算哪些函数？位置编码的作用

本文旨在加深对大型图上图神经网络（GNNs）的理论理解，特别是着重于它们的表达能力。通过对等变 GNNs 生成的函数空间进行更完整和直观的描述，我们强调了输入节点特征的作用，并研究了节点位置编码（PEs）的影响，这是最近一项在实践中表现出卓越成果的研究。通过对大型随机图的 PEs 的研究，我们将先前已知的普适性结果扩展到了更为普遍的模型，同时提出了一些规范化技巧，这在合成和实际数据上得到了正面的验证。

May, 2023

位置感知图神经网络

本文提出 P-GNN 方法，通过采样锚节点集并计算给定目标节点相对于所有锚节点的距离，从而学习距离加权聚合方案以产生具有位置感知能力的节点嵌入。实验结果表明该方法能有效地提升节点在图结构中的位置特征提取能力，达到了较好的实验效果。

Jun, 2019

蛋白质图形的神经嵌入

本文提出了一种利用图神经网络和自然语言大模型生成结构和序列感知型蛋白质表示的新框架，并将其与传统的基于结构对齐的方法相比较，证明了该方法在比较蛋白质结构和蛋白质结构分类任务中的优越性能。

Jun, 2023

HyPE-GT: 图形 Transformer 遇见双曲型位置编码

图变换器（GTs）通过计算节点对的自注意力，而不考虑节点位置信息，促进了对图结构数据的理解。为了解决这一限制，我们引入了一种创新且高效的框架，将位置编码（PEs）引入 Transformer，生成一组可学习的位置编码，这些位置编码存在于非欧几里德域中的双曲空间。通过这种方法，我们可以探索用于特定下游任务的 PEs 的多种选择选项，利用双曲神经网络或双曲图卷积网络。此外，我们重新使用这些位置编码来减轻深层图神经网络（GNNs）中的过度平滑的影响。对分子基准数据集、合著作者网络和共同购买网络进行的全面实验证实了双曲位置编码在提高深层 GNN 性能方面的有效性。

Dec, 2023

GRPE: 图形 Transformer 的相对位置编码

该研究提出了一种新的位置编码方法，用于学习 Transformer 架构上的图形，结果表明这种方法优于以往的方法并可公开获取其代码。

Jan, 2022

关于图神经网络中表达性位置编码的稳定性

设计有效的位置编码对于构建强大的图形变压器和增强消息传递图神经网络至关重要。我们提出了稳定且表达能力强的位置编码（SPE），它是第一个经过验证的稳定架构，同时尊重特征向量的所有对称性，并且至少与现有方法一样具有表达能力，对于基础不变函数非常强大，同时在分子属性预测和超出分布泛化任务上表现出改进的泛化性能。

Oct, 2023