本论文提出了一种动态图消息传递网络，用于进行长程依赖性建模，以用于图像识别。该网络采用自适应抽样节点的方法，在传递信息时动态地预测节点相关过滤器权重和关联矩阵，以实现对自我注意机制的设计。研究结果表明，基于该模型的 Transformer 骨干网络在图像分类和物体检测等四种不同任务上，相对于现有的最先进技术，能够显著提升性能，同时性能优于完全连接的图并使用更少的浮点运算和参数。

Sep, 2022

提出了一种使用 Transformer 结构的通信信息传递神经网络 (CoMPT), 以加强节点和边之间的消息交互，提高分子图的表示能力，在七个化学性质数据集和两个化学位移数据集上的实验证明了所提出模型的卓越性能。

Jul, 2021

本文提出一种基于图的下一步预测模型，采用了一种类 Transformer 的时序关注模型来捕捉长期的依赖关系，利用编码器 - 解码器结构来总结特征和创建系统状态的紧凑网格表示，并在几个复杂的流体力学预测任务中优于竞争性 GNN 基线，可以帮助解决高维物理问题的序列建模。

Jan, 2022

通过在节点特征的基础上传播节点的 One-hot 编码，以学习每个节点周围的本地上下文矩阵以及保证置换等变性的消息和更新函数，我们提出了一种具有强大表达能力和等变性的消息传递框架，用于对图形网络进行建模，实验表明本模型可以更准确地预测合成数据上的图形拓扑性质，并在 ZINC 数据集的分子图回归任务中取得了最优结果。

Jun, 2020

本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

Nov, 2019

该文介绍了一种基于消息传递框架的应用，即面向自然语言处理的消息传递注意力网络（MPAD），并在 10 个标准文本分类数据集上进行了实验，结果表明其性能与现有最先进模型相当，代码公开可用。

Aug, 2019

高能物理领域中，机器学习方法在准确模拟大型强子对撞机中的粒子碰撞方面发挥了重要作用。我们引入了一种新的模型 iGAPT，它通过整合 “诱导性粒子注意力模块” 并以全局喷注属性为条件，不仅具有线性时间复杂度，还能捕捉复杂的喷注子结构，在许多指标上超过了 MPGAN，从而展示了 iGAPT 在准确而高效地模拟复杂的高能物理数据方面的潜力。

Dec, 2023

通过对 transformer-based 语言模型的 attention 头和 memory values 进行解释，我们可以将 GPT 的前向传递可视化为交互式流图，从而发现模型输出结果的原因和 LM 组件在模型中的作用。

May, 2023

当提供强大的结构性编码时，基于张量乘积的相互作用模型表明比基于拼接的编码更加鲁棒，即使去除了消息传递层，也能在某些任务上几乎不降低性能。

Oct, 2023

本研究提出了一种新颖的单阶段信息传递范式，用于超图中的全局和局部信息传播模型，在超图节点表示学习的 Transformer 框架 HGraphormer 中引入此范式，通过结合注意力矩阵和超图拉普拉斯矩阵将超图结构信息注入 Transformer，实验表明 HGraphormer 在半监督超节点分类任务上表现优于最新的超图学习方法，提升准确率在 2.52% 至 6.70% 之间。

Dec, 2023