本文介绍了一种用于建模Web规模异构图的异构图转换器架构（HGT），通过设计基于节点类型和边类型的参数来实现异构性，并引入相对时间编码技术和异构迷你批图采样算法来处理动态异构图数据，实验表明，所提出的HGT模型在各种下游任务中始终优于所有最先进的HNN基线9％至21％。

Mar, 2020

本文提出了一种基于文本图的表示学习方法GraphFormers，该方法将语言模型的Transformer块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确地理解每个节点的语义。通过在三个大规模基准数据集上的广泛评估，GraphFormers比SOTA基准模型具有相当的运行效率。

May, 2021

本文提出了一种基于Transformer的预训练模型，通过多粒度稀疏注意力机制，从长文本中捕捉语义图结构并进行提取式摘要，实验证明HETFORMER在Rouge F1上具有最先进的性能，同时使用更少的内存和参数。

Oct, 2021

Edgeformers是建立在图增强Transformer之上的框架，通过对边缘文本进行建模来执行边缘和节点表示学习。在五个公共数据集中，Edgeformers在边缘分类和链接预测方面始终优于最先进的基线，显示了学习边和节点表示的效力。

Feb, 2023

利用元路径识别异质图中的异质性并提出了两个度量方法来定量描述异质性水平，在多个具有不同异质性水平的真实异质图上进行了深入研究，观察到继承自处理同质图的图神经网络对异质图的异质性或同质性较低的泛化能力有限。为解决这一挑战，提出了一种新的异质图神经网络 Hetero$^2$Net，通过蒙版元路径预测和蒙版标签预测任务，有效且灵活地处理同质性和异质性异质图，在五个具有不同异质性水平的真实异质图基准上评估了 Hetero$^2$Net 的性能，结果表明 Hetero$^2$Net 在半监督节点分类任务中优于强基线模型, 为有效处理更复杂的异质图提供了有价值的见解。

Oct, 2023

利用异构图神经网络建模了类型多样性节点，并通过两个关键组件，即类型感知编码器和维度感知编码器，解决了节点类型信息丢失和高阶信息损失问题，在编码节点表征时充分利用了图的异构性。实验证明了MULAN在六个异构数据集上的优越性和高效性。

Nov, 2023

我们研究了异构信息网络中节点属性的差异对于异构图神经网络的性能影响，提出了一种新颖的以属性为指导的Transformer模型AGHINT，通过直接整合高阶相似的邻居特征并修改节点之间的信息传递机制来更有效地聚合邻居节点信息，实验结果表明AGHINT在节点分类任务上胜过了现有的最先进模型。

Apr, 2024

图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

Jun, 2024

基于节点的异构图转换器和类型级转换器，我们提出了一种创新的层次异构图转换器模型 (HHGT)，用于在异构信息网络中聚合具有不同类型和语义的节点，并在 ACM 数据集上的节点聚类任务中取得显著的提升（最高 24.75% 的 NMI 和 29.25% 的 ARI）与其他14个基线模型相比。

Jul, 2024

本研究解决了传统图神经网络在处理异质图时的局限性，因其过度依赖同质性假设。作者提出了一种新颖的两阶段框架，通过增强边缘鉴别和引导边缘重加权，利用大语言模型来更有效地解读异质图中的文本数据。实验结果表明，该方法能显著提升节点分类的效果，具有重要的实际应用潜力。

Aug, 2024