本文提出了一种新的 GNN 网络架构 LSPE，通过引入可学习的位置编码对节点的结构表达和位置表达进行解耦，应用在分子数据集上的实验结果表明 LSPE 能显著提高模型性能。

Oct, 2021

图变换器（GTs）通过计算节点对的自注意力，而不考虑节点位置信息，促进了对图结构数据的理解。为了解决这一限制，我们引入了一种创新且高效的框架，将位置编码（PEs）引入 Transformer，生成一组可学习的位置编码，这些位置编码存在于非欧几里德域中的双曲空间。通过这种方法，我们可以探索用于特定下游任务的 PEs 的多种选择选项，利用双曲神经网络或双曲图卷积网络。此外，我们重新使用这些位置编码来减轻深层图神经网络（GNNs）中的过度平滑的影响。对分子基准数据集、合著作者网络和共同购买网络进行的全面实验证实了双曲位置编码在提高深层 GNN 性能方面的有效性。

Dec, 2023

Eigenformer 通过一种新颖的对 Laplacian 谱意识的注意机制，在一些标准的图神经网络基准数据集上实现了与最先进的 MP-GNN 体系结构和 Graph Transformers 相当的性能，甚至在某些数据集上超越了最先进的方法。此外，我们发现我们的架构在训练速度方面要快得多，可能是由于内在的图归纳偏置。

Jan, 2024

本文讨论了使用位置编码技术来改进图神经网络在节点集合任务中预测的问题，并提出了一种被称为 PEG 的类 GNN 层，它使用单独的通道更新原始节点特征和位置特征。PEG 同时对原始节点特征施加排列等变性质，并对位置特征施加 O（p）等变性质，其中 p 是使用的位置特征的维度。在 8 个真实世界网络上的广泛链接预测实验表明，PEG 在泛化和可伸缩性方面具有优势。

Mar, 2022

该研究提出了一种新的位置编码方法，用于学习 Transformer 架构上的图形，结果表明这种方法优于以往的方法并可公开获取其代码。

Jan, 2022

图转换器的区分能力与位置编码的选择紧密相关，本文旨在理解绝对位置编码和相对位置编码之间的关系，并展示了在图转换器中如何交换这两种类型的位置编码而保持它们的区分能力。基于理论结果，我们对几种位置编码进行了研究并比较了它们在转换器中的区分能力，从而为位置编码的未来设计提供指导。

Feb, 2024

本研究提出了一种关于如何构建通用、强大、可扩展的图形 Transformer 的方案，其中包括位置 / 结构编码、本地消息传递机制、全局注意机制等主要条件，可适用于小规模和大规模图形，并在 16 项基准测试中取得高竞争力的结果。

May, 2022

本文通过泛化定义拉普拉斯嵌入的优化问题，提出了一族新的图形式的位置编码，并讨论了一种计算这些位置编码的方法，证实了这种新的位置编码可以提高 MPNN 的表述能力，同时给出了初步的实验结果。

Oct, 2022

本文提出了一个名为 SE-GSL 的通用图结构学习框架，通过结构熵和在编码树中抽象的图层次来优化图结构的质量和可解释性，它对于各种图神经网络模型具有增强鲁棒性的作用。

Mar, 2023

位置编码（PEs）用于将单词顺序信息注入基于 Transformer 的语言模型中。本研究对双向遮蔽语言模型（BERT-style）中的位置编码进行了系统研究，揭示了其核心功能和与下游任务性能相关的两个常见特性（局部性和对称性），并对当前位置编码的弱点进行了定量评估。这些结果可为开发基于 Transformer 的语言模型的更好位置编码提供基础。

Oct, 2023