提出了一种新型边缘 Transformer 模型，实现了自然语言理解中的系统化概括，并在关系推理、语义解析和依赖解析等几个设置中优于 Relation-aware、Universal 和传统 Transformer 基线模型。

Dec, 2021

本文提出一种基于图的下一步预测模型，采用了一种类 Transformer 的时序关注模型来捕捉长期的依赖关系，利用编码器 - 解码器结构来总结特征和创建系统状态的紧凑网格表示，并在几个复杂的流体力学预测任务中优于竞争性 GNN 基线，可以帮助解决高维物理问题的序列建模。

Jan, 2022

该研究提出了一个新的概率方法进行关系推断，使用基于物理的图神经网络来学习物理一致的两两粒子之间的相互作用，具有数据效率和泛化到大系统的能力，并能够比现有方法准确地推断相互作用类型，是发现宏观粒子系统机械性质的基本规律的关键元素。

Apr, 2023

我们认为 Transformer 模型本质上是图到图的模型，序列只是一种特殊情况。注意力权重在功能上等价于图中的边。我们的图到图 Transformer 架构明确地表达了这个能力，通过将图的边作为输入用于注意力权重计算，并使用类似于注意力的函数预测图中的边，从而将显式图集成到预训练的 Transformer 模型中学习出的潜在图中。添加迭代的图优化过程提供了输入、输出和潜在图的联合嵌入，使得非自回归图预测能够优化完整图，无需任何专门的流水线或解码策略。实证结果表明，该架构在对各种语言结构建模方面取得了最先进的准确性，与预训练学习的潜在语言表示非常有效地集成在一起。

Oct, 2023

高能物理领域中，机器学习方法在准确模拟大型强子对撞机中的粒子碰撞方面发挥了重要作用。我们引入了一种新的模型 iGAPT，它通过整合 “诱导性粒子注意力模块” 并以全局喷注属性为条件，不仅具有线性时间复杂度，还能捕捉复杂的喷注子结构，在许多指标上超过了 MPGAN，从而展示了 iGAPT 在准确而高效地模拟复杂的高能物理数据方面的潜力。

Dec, 2023

基于 k 维 Weisfeiler-Leman（k-WL）层次结构的图学习架构在理论上具有良好的表达能力。然而，这样的架构通常在实际任务中无法提供可靠的预测性能，限制了它们的实际影响。相比之下，基于全局注意力的图变换器等架构在实践中表现出强大的性能，但是与 k-WL 层次结构的表达能力进行比较仍具有挑战性，特别是因为这些架构依赖于位置或结构编码来实现其表达能力和预测性能。为了解决这个问题，我们展示了最近提出的边界变换器（Edge Transformer），一种基于节点对而不是节点操作的全局注意力模型，具有至少 3-WL 的表达能力。在实证上，我们证明了边界变换器相对于其他理论上对齐的架构在预测性能方面的优势，同时不依赖于位置或结构编码。

Jan, 2024

本文提出了一种名为 Tokenized Graph Transformer（TokenGT）的新颖神经网络，它可以用于大规模图形学习，通过节点和边的独立表示进行转换，并且通过合适的 token 嵌入，TokenGT 可以在理论上至少与由等变线性层组成的不变图网络（2-IGN）一样有潜力进行表现，实践中，TokenGT 在大规模图形数据集（PCQM4Mv2）上的表现不仅优于基于消息传递的图神经网络（GNN）基线，而且与具有复杂图特定归纳偏差的变型 Transformer 相比也具有竞争力。

Jul, 2022

通过在图结构数据中学习，物理启发图神经网络在解决常见图神经网络挑战（如平滑过度、压缩过度和异质适应）方面取得了显著的性能。本文通过在传播过程中引入额外的节点和重新连接具有正负权重的连接来丰富图结构，在理论上验证了通过我们的方法增强的图神经网络可以有效地解决平滑过度问题，并对压缩过度具有鲁棒性。此外，我们对重连后的图进行谱分析，证明相应的图神经网络可以适应同质化和异质化的图。在同质化、异质化图以及长期图数据集的基准验证中，我们通过我们的方法增强的图神经网络显著优于原始版本。

Jan, 2024

GRIT 是一种新的图形变压器，它不使用消息传递，而是通过相对位置编码、灵活的注意机制和注入每层度信息等结构改变来整合图形感应偏差，并在多个图形数据集上实现了最先进的经验性能。

May, 2023

基于深度神经网络的偏微分方程替代模型近年来越来越受关注。我们引入了通用物理变换器 (UPTs)，这是一种新的学习范式，可以模拟广泛的时空问题，包括拉格朗日离散和欧拉离散方案，而无需网格或基于粒子的潜在结构。UPTs 通过逆编码和解码技术在潜在空间中高效传播动力学，并允许在空间时间的任何点上查询潜在空间表示。我们在基于网格的流体模拟、稳态雷诺平均纳维 - 斯托克斯模拟和拉格朗日动力学中展示了 UPTs 的有效性。

Feb, 2024