本文提出了一种名为 NeuralWalker 的新型架构，通过将随机游走视为序列，利用序列模型捕捉这些游走中的长程依赖关系，从而克服了消息传递图神经网络和图变换器方法的局限性，实现更具表达力的图表示，并能够使用任何序列模型来捕捉长程依赖关系，同时具备集成各种图神经网络和图变换器架构的灵活性。实验证明，NeuralWalker 在 19 个图和节点基准数据集上取得了显著的性能改进，在 PascalVoc-SP 和 COCO-SP 数据集上的性能超过现有方法高达 13%。

Jun, 2024

本研究提出了一种名为 DET 的新型 Transformer 架构，采用结构编码器聚合连接邻居的信息和语义编码器聚焦于远距离节点，通过自监督训练寻找所需的远距离邻居，比使用多跳邻居的方法更为优越。实验结果表明，DET 在处理分子、网络和各种规模的知识图谱方面比对应的最新方法具有更优越的性能表现。

Feb, 2022

本文提出了一种层次距离结构编码（HDSE）方法，用于加强现有图变换器，同时应用于其他位置表示，通过在图中的节点之间建模层次距离来捕捉图的多层次、分层结构，通过在 12 个真实世界数据集上的实验证明，我们的 HDSE 方法成功地提升了各种类型的基准变换器，在 10 个基准数据集上获得了最先进的实证性能。

Aug, 2023

本论文提出了一种动态图消息传递网络，用于进行长程依赖性建模，以用于图像识别。该网络采用自适应抽样节点的方法，在传递信息时动态地预测节点相关过滤器权重和关联矩阵，以实现对自我注意机制的设计。研究结果表明，基于该模型的 Transformer 骨干网络在图像分类和物体检测等四种不同任务上，相对于现有的最先进技术，能够显著提升性能，同时性能优于完全连接的图并使用更少的浮点运算和参数。

Sep, 2022

本篇论文提出了一种名为 GraphTrans 的算法，它将 Transformer 自注意力模块和标准的 GNN 模块相结合，并应用置换不变性的 Transformer 模块，从而解决了当前方法在表示长程依赖关系方面的不足。该算法在多个图分类任务上表现出色，说明纯粹的基于学习的方法可能适用于在图上学习高水平、长程的关系。

Jan, 2022

提出了一种新的 Hierarchical Message-passing Graph Neural Networks 框架，通过生成 hierarchical structure，并采用 inra- 和 inter-level propagation manners 以及 hierarchical community detection algorithm，实现了对长程信息的高效访问，从而在节点分类、社区检测等任务中优于现有基于 GNN 的模型。

Sep, 2020

本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

Nov, 2019

本文章提出了一种最短路径消息传递神经网络框架，可以解决节点间信息传递瓶颈以及节点无法直接通信的问题，从而实现更准确的图分类。

Jun, 2022

本论文探讨了神经机器翻译的编码器隐藏状态在最近邻视角下的信息表达，评估了递归和转换器机器翻译模型的语言语义和句法结构表达能力，并比较了它们在不同方面的表现。

Jul, 2019

本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

Dec, 2020