该研究提出了一种使用超图模型的多阶多模态转换器来识别骨骼动作，并包括更高级别的运动模式及可训练的网络，在骨骼活动识别中优于 GCN、transformer 和超图等现有模型。

Mar, 2023

HOT-RNN 是一种用于多元预测的新型神经网络序列架构，通过学习非线性动态来解决高阶相关性和误差传播敏感性问题，并使用张量列车分解来减少参数。在模拟环境和实际时间序列数据上，相对于一般 RNN 和 LSTM 体系结构，它在长期预测方面表现出 5% 到 12% 的改进。

Oct, 2017

本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了 LargeGT 框架，并取得了 3 倍的加速和 16.8％的性能提升。

Dec, 2023

本文旨在提出一个简化的图结构 Transformers 算法架构 (SGFormer)，该架构基于一个简单的 attention 模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

Jun, 2023

通过全球节点和超边之间的全球关联以及捕捉节点和超边之间的局部连接性，提出了一种新颖的超图学习框架，称为 HyperGraph Transformer（HyperGT），该框架利用基于 Transformer 的神经网络结构来有效地处理超图结构化数据，实现了全面的超图表示学习，并在超图节点分类任务中取得了出色的性能，超过了现有方法，建立了新的基准水平。

Dec, 2023

本文介绍了一种用于建模 Web 规模异构图的异构图转换器架构（HGT），通过设计基于节点类型和边类型的参数来实现异构性，并引入相对时间编码技术和异构迷你批图采样算法来处理动态异构图数据，实验表明，所提出的 HGT 模型在各种下游任务中始终优于所有最先进的 HNN 基线 9％至 21％。

Mar, 2020

设计了一种多行为超图增强 Transformer 框架（MBHT），用于捕获基于多个交互类型的短期和长期行为依赖关系，该框架通过低秩自注意力和超图神经网络结构实现。

Jul, 2022

提出了一种拓扑引导的超图变换网络，通过保留结构本质学习图中的高阶关系，设计了简洁而有效的结构和空间编码模块将节点的拓扑和空间信息融入其表示，并提出了一种结构感知的自注意机制，从语义和结构角度发现重要节点和超边。实验证明，所提模型在节点分类任务上的性能始终优于现有方法。

Oct, 2023

本文针对多关系知识图谱中实体和关系的学习表示问题，提出了一种基于分层 Transformer 模型的方法，该方法可以联合学习实体关系组合和基于源实体社区的关系上下文。实验结果表明 HittER 模型在多个链接预测数据集上取得了最新的最优结果。此外，我们还提出了一种简单的方法将 HittER 集成到 BERT，并在两个 Freebase 问答数据集上证明了其有效性。

Aug, 2020

开发了一种具有不确定性量化的图嵌入模型 TransformerG2G，通过利用先进的转换编码器从当前状态 ($ t $) 和先前上下文（在时间戳 [$ t-1，t-l $] 上，$ l $ 是上下文的长度）中首先学习中间节点表示。

Jul, 2023