GRPE: 图形 Transformer 的相对位置编码

Jan, 2022

GRPE: 图形 Transformer 的相对位置编码

GRPE: Relative Positional Encoding for Graph Transformer

Wonpyo Park, Woonggi Chang, Donggeon Lee, Juntae Kim, Seung-won Hwang

TL;DR该研究提出了一种新的位置编码方法，用于学习 Transformer 架构上的图形，结果表明这种方法优于以往的方法并可公开获取其代码。

Abstract

We propose a novel positional encoding for learning graph on Transformer architecture. Existing approaches either linearize a graph to encode absolute position in the sequence of nodes, or encode relative position with another node using bias terms. The former loses preciseness of rela

positional encoding graph learning transformer architecture node-topology interaction graph relative positional encoding

发现论文，激发创造

线性化的相对位置编码

通过单元转换，在现有线性相对位置编码方法的基础上，提出了家族化的线性相对位置编码算法，实现了保持线性空间 - 时间复杂性的新相对位置编码方法框架，并在语言建模、文本分类和图像分类等各种应用中表现出了最先进的性能，强调了一个用于设计线性变压器相关位置编码方法的普适范例。

Jul, 2023

相对位置编码在线性复杂度 Transformer 中的应用

本研究提出了随机位置编码的方法来生成代替传统加性（正弦）位置编码的 PE，并证明其类似于 RPE，建立了位置编码与相关高斯过程的交叉协方差结构之间的联系。这种方法能够弥补针对最近的线性 Transformer 变量不可用于 RPE 的问题，并展示了其在 Long-Range Arena 基准测试和音乐生成方面的性能表现。

May, 2021

通过位置编码比较图变换器

图转换器的区分能力与位置编码的选择紧密相关，本文旨在理解绝对位置编码和相对位置编码之间的关系，并展示了在图转换器中如何交换这两种类型的位置编码而保持它们的区分能力。基于理论结果，我们对几种位置编码进行了研究并比较了它们在转换器中的区分能力，从而为位置编码的未来设计提供指导。

Feb, 2024

具有可学习的结构和位置表示的图神经网络

本文提出了一种新的 GNN 网络架构 LSPE，通过引入可学习的位置编码对节点的结构表达和位置表达进行解耦，应用在分子数据集上的实验结果表明 LSPE 能显著提高模型性能。

Oct, 2021

HyPE-GT: 图形 Transformer 遇见双曲型位置编码

图变换器（GTs）通过计算节点对的自注意力，而不考虑节点位置信息，促进了对图结构数据的理解。为了解决这一限制，我们引入了一种创新且高效的框架，将位置编码（PEs）引入 Transformer，生成一组可学习的位置编码，这些位置编码存在于非欧几里德域中的双曲空间。通过这种方法，我们可以探索用于特定下游任务的 PEs 的多种选择选项，利用双曲神经网络或双曲图卷积网络。此外，我们重新使用这些位置编码来减轻深层图神经网络（GNNs）中的过度平滑的影响。对分子基准数据集、合著作者网络和共同购买网络进行的全面实验证实了双曲位置编码在提高深层 GNN 性能方面的有效性。

Dec, 2023

更强大的图神经网络：等变稳定位置编码

本文讨论了使用位置编码技术来改进图神经网络在节点集合任务中预测的问题，并提出了一种被称为 PEG 的类 GNN 层，它使用单独的通道更新原始节点特征和位置特征。PEG 同时对原始节点特征施加排列等变性质，并对位置特征施加 O（p）等变性质，其中 p 是使用的位置特征的维度。在 8 个真实世界网络上的广泛链接预测实验表明，PEG 在泛化和可伸缩性方面具有优势。

Mar, 2022

图形位置结构编码器

GPSE 是第一个训练图编码器以捕获丰富的位置和结构编码表示来增强任何 GNN 的编码器，其可用于提取图形位置和结构信息的大型预训练模型的开发并突出它们作为明确计算 PSE 和现有的自监督预训练方法的可行替代方案。

Jul, 2023

通过相对位置对知识图谱进行文本生成的图结构建模

本文介绍了 Graformer，一种新颖的基于 Transformer 的编码器 - 解码器体系结构，用于图形到文本的生成。使用我们新颖的图形自我关注，节点的编码依赖于输入图中的所有节点，促进了全局模式的检测。通过学习不同关注头的节点之间的权重，Graformer 实现了不同的连接视图，从而在 AGENDA 和 WebNLG 这两个流行的图形到文本生成基准测试中实现强大的性能。

Jun, 2020

重新思考和改进相对位置编码在视觉变换器中的应用

本文介绍了相对位置编码的在图像识别中的研究，提出了基于 2D 图像的新型相对位置编码方法，即图像 RPE。经过实验验证，该方法可以显著提高 DeiT 和 DETR 的准确率，而不需要额外的超参数调节。

Jul, 2021

广义拉普拉斯位置编码用于图表示学习

本文通过泛化定义拉普拉斯嵌入的优化问题，提出了一族新的图形式的位置编码，并讨论了一种计算这些位置编码的方法，证实了这种新的位置编码可以提高 MPNN 的表述能力，同时给出了初步的实验结果。

Oct, 2022