本文提出了一种基于文本图的表示学习方法 GraphFormers，该方法将语言模型的 Transformer 块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确地理解每个节点的语义。通过在三个大规模基准数据集上的广泛评估，GraphFormers 比 SOTA 基准模型具有相当的运行效率。

May, 2021

本文提出了一种基于 Transformer 的预训练模型，通过多粒度稀疏注意力机制，从长文本中捕捉语义图结构并进行提取式摘要，实验证明 HETFORMER 在 Rouge F1 上具有最先进的性能，同时使用更少的内存和参数。

Oct, 2021

本文介绍了一种用于建模 Web 规模异构图的异构图转换器架构（HGT），通过设计基于节点类型和边类型的参数来实现异构性，并引入相对时间编码技术和异构迷你批图采样算法来处理动态异构图数据，实验表明，所提出的 HGT 模型在各种下游任务中始终优于所有最先进的 HNN 基线 9％至 21％。

Mar, 2020

本文提出了一种基于新的所有对消息传递机制和核化 Gumbel-Softmax 算子的节点分类网络，名叫 NodeFormer，特别针对处理大规模图中的长距离依赖、边的不完整性等问题提出了解决方案，并在多项实验中验证了其有效性。

Jun, 2023

Edgeformers 是建立在图增强 Transformer 之上的框架，通过对边缘文本进行建模来执行边缘和节点表示学习。在五个公共数据集中，Edgeformers 在边缘分类和链接预测方面始终优于最先进的基线，显示了学习边和节点表示的效力。

Feb, 2023

利用异构图神经网络建模了类型多样性节点，并通过两个关键组件，即类型感知编码器和维度感知编码器，解决了节点类型信息丢失和高阶信息损失问题，在编码节点表征时充分利用了图的异构性。实验证明了 MULAN 在六个异构数据集上的优越性和高效性。

Nov, 2023

提出了一种结合 GNN 和 Transformer 的新框架，利用 GNN 的局部信息汇聚和 Transformer 的全局信息建模能力解决过度平滑问题，构建了 GTC 体系结构，通过对跨视图信息进行自我监督的对比学习任务实现异构图形表示学习。

Mar, 2024

本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。

Jun, 2022

该论文提出了一种利用图卷积网络在跨语言文本分类中融合异构信息的简单高效方法，利用词性角色、语义相似度和文档翻译等信息构建了异构图，实现了在所有任务中显著优于现有模型的性能和低资源情况下良好的一致性表现。

May, 2021

本文提出了一个结合 Subgraph GNNs 和 Graph Transformers 的架构，名为 Subgraphormer，通过将 Subgraph GNNs 的增强表达能力、消息传递机制和聚合方案与 Graph Transformers 中最重要的组件 —— 注意力机制和位置编码相结合。我们的方法基于 Subgraph GNNs 和自身的图像乘积之间的新联系，将 Subgraph GNNs 表述为在图像乘积上操作的 Message Passing Neural Networks (MPNNs)。我们利用这种表述设计了我们的架构：首先，我们设计了一个基于图像乘积的连接性的注意力机制。其次，我们提出了一种新颖高效的 Subgraph GNNs 位置编码方案，将其推导为图像乘积的位置编码。我们的实验结果显示，在广泛的数据集上，相比于 Subgraph GNNs 和 Graph Transformers，我们的方法显著提升了性能。

Feb, 2024