利用消息传递变换器进行物理模拟学习
本论文提出了一种动态图消息传递网络，用于进行长程依赖性建模，以用于图像识别。该网络采用自适应抽样节点的方法，在传递信息时动态地预测节点相关过滤器权重和关联矩阵，以实现对自我注意机制的设计。研究结果表明，基于该模型的 Transformer 骨干网络在图像分类和物体检测等四种不同任务上，相对于现有的最先进技术，能够显著提升性能，同时性能优于完全连接的图并使用更少的浮点运算和参数。
Sep, 2022
提出了一种使用 Transformer 结构的通信信息传递神经网络 (CoMPT), 以加强节点和边之间的消息交互，提高分子图的表示能力，在七个化学性质数据集和两个化学位移数据集上的实验证明了所提出模型的卓越性能。
Jul, 2021
本文提出一种基于图的下一步预测模型，采用了一种类 Transformer 的时序关注模型来捕捉长期的依赖关系，利用编码器 - 解码器结构来总结特征和创建系统状态的紧凑网格表示，并在几个复杂的流体力学预测任务中优于竞争性 GNN 基线，可以帮助解决高维物理问题的序列建模。
Jan, 2022
通过在节点特征的基础上传播节点的 One-hot 编码，以学习每个节点周围的本地上下文矩阵以及保证置换等变性的消息和更新函数，我们提出了一种具有强大表达能力和等变性的消息传递框架，用于对图形网络进行建模，实验表明本模型可以更准确地预测合成数据上的图形拓扑性质，并在 ZINC 数据集的分子图回归任务中取得了最优结果。
Jun, 2020
本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。
Nov, 2019
该文介绍了一种基于消息传递框架的应用，即面向自然语言处理的消息传递注意力网络（MPAD），并在 10 个标准文本分类数据集上进行了实验，结果表明其性能与现有最先进模型相当，代码公开可用。
Aug, 2019
高能物理领域中，机器学习方法在准确模拟大型强子对撞机中的粒子碰撞方面发挥了重要作用。我们引入了一种新的模型 iGAPT，它通过整合 “诱导性粒子注意力模块” 并以全局喷注属性为条件，不仅具有线性时间复杂度，还能捕捉复杂的喷注子结构，在许多指标上超过了 MPGAN，从而展示了 iGAPT 在准确而高效地模拟复杂的高能物理数据方面的潜力。
Dec, 2023
通过对 transformer-based 语言模型的 attention 头和 memory values 进行解释，我们可以将 GPT 的前向传递可视化为交互式流图，从而发现模型输出结果的原因和 LM 组件在模型中的作用。
May, 2023
通过创造物理系统的 3D 多体点云，我们提出了一种新型的基于等变矩阵乘积态 (MPS) 的消息传递策略，有效地建模复杂的多体关系并捕捉了几何图中的对称性，超越了现有的几何图神经网络的平均场近似，并在预测经典牛顿系统和量子张量哈密顿矩阵等基准任务上验证了其卓越的准确性，堪称参数化几何张量网络的创新应用。
Jan, 2024