大型图中节点分类的带邻域增强的标记图变换器

May, 2023

大型图中节点分类的带邻域增强的标记图变换器

Tokenized Graph Transformer with Neighborhood Augmentation for Node Classification in Large Graphs

Jinsong Chen, Chang Liu, Kaiyuan Gao, Gaichao Li, Kun He

TL;DR本研究提出了一种称为邻域聚合图变换器（NAGphormer）的方法，用于处理大规模图数据，它将每个节点视为一个序列，每个序列包含一系列通过 Hop2Token 模块构建的标记。NAGphormer 通过从不同跳的邻域特征进行聚合，生成一系列标记向量作为输入，能够以 mini-batch 的方式进行训练，并能够比图神经网络更好地学习多跳邻域的节点表示。研究同时提出了一种名为 Neighborhood Augmentation 的新型数据增强方法，以同时增强全局邻域和局部邻域的特征，进一步提高 NAGphormer 的训练效果。实验证明，NAGphormer 优于现有的图变换器和主流图神经网络，并且 NrAug 对 NAGphormer 进一步提升作用显著。

Abstract

graph transformers, emerging as a new architecture for graph representation learning, suffer from the quadratic complexity on the number of nodes when handling large graphs. To this end, we propose a Neighborhood Aggregation Graph Transformer (NAGphormer) that treats each node as a seq

graph transformers neighborhood aggregation graph transformer hop2token module data augmentation graph neural networks

发现论文，激发创造

NAGPhormer：用于大型图中节点分类的基于令牌化的图变换器

本文提出了一种邻域聚合图变换器（NAGphormer）来处理大规模数据集的图分析问题，在 Hop2Token 模块的引导下， NAGphormer 能够将每个节点作为包含一系列令牌的序列处理，利用邻域信息构建一个序列来训练模型，从而在图神经网络中表现出更好的表征学习能力。

Jun, 2022

Gophormer: 基于自我图转换器的节点分类

提出了一种基于 ego-graphs 的 Gophormer 模型，将 transformer 应用于节点分类任务，通过邻域采样缓解了规模问题，并采用 proximity-enhanced attention 机制捕捉节点间的结构偏差，通过一致性规则和多样本推理策略稳定训练和测试。Gophormer 在六个基准数据集上的实验表明了其超越了现有的图转换器和热门的 GNN，并揭示了图转换器的未来发展前景。

Oct, 2021

路径增强图变换器网络

提出了一种基于路径增强的图转换网络 (PAGTN)，用于学习分子表示，并将其与基于图卷积网络 (GCN) 的模型进行比较，在分子属性预测方面表现更好，包括量子化学 (QM7，QM8，QM9)，物理化学 (ESOL，亲脂) 和生物化学 (BACE，BBBP) 数据集。

May, 2019

一种将 Transformer 网络泛化至图形数据的方法

本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

Dec, 2020

无纯元素的 Transformer 是强大的图学习器

本文提出了一种名为 Tokenized Graph Transformer（TokenGT）的新颖神经网络，它可以用于大规模图形学习，通过节点和边的独立表示进行转换，并且通过合适的 token 嵌入，TokenGT 可以在理论上至少与由等变线性层组成的不变图网络（2-IGN）一样有潜力进行表现，实践中，TokenGT 在大规模图形数据集（PCQM4Mv2）上的表现不仅优于基于消息传递的图神经网络（GNN）基线，而且与具有复杂图特定归纳偏差的变型 Transformer 相比也具有竞争力。

Jul, 2022

N-Grammer: 使用潜在 n-gram 扩充 Transformer

本研究提出了一种新的改进 Transformer 模型的方法，使用了文本序列中的离散潜在表示构造 n-gram，并应用于语言建模和文本分类中，经实验证明性能优于传统的 Transformer 模型和 Primer，该模型已在 Jax 中开源以便复现。

Jul, 2022

节点对齐的图生成器用于合成反应预测

单步逆向合成是有机化学和药物设计中的关键任务，计算辅助合成规划的出现使得使用机器学习技术促进该过程的兴趣日益增长。我们提出的 NAG2G 方法，也是一种基于 Transformer 的无模板模型，但利用了二维分子图和三维构象信息，同时简化了生成物 - 反应物原子映射对齐的加入，通过利用节点对齐确定节点生成的特定顺序，并以节点为单位以自回归的方式生成分子图，这确保了节点生成顺序与输入图中的节点顺序一致，克服了以自回归方式确定特定节点生成顺序的困难。我们广泛的基准测试结果表明，提出的 NAG2G 在各种指标上能够超越先前的最先进基线。

Sep, 2023

高阶动态图表示学习与高效 Transformer 模型

通过在 Transformer 的注意力矩阵中编码高阶图结构，HOT 模型在图表示学习中的动态问题中提高了链接预测的准确性，同时通过设置层次结构在注意力矩阵上显著减少内存占用。与其他动态图表示学习方案相比，HOT 在 MOOC 数据集上实现了相对较高的准确性，分别比 DyGFormer、TGN 和 GraphMixer 分别高出 9%、7% 和 15%。

Nov, 2023

AGFormer: 锚点图变换器实现高效图表示

本研究提出了一种新的图形 Transformer 架构，称为 Anchor Graph Transformer（AGFormer），通过利用锚图模型将节点到节点的消息传递转换为锚到锚和锚到节点的消息传递过程，从而比常规节点到节点的 Transformer 更高效且更具鲁棒性。

May, 2023

通用图形 Transformer 自注意力网络

本文介绍了一种基于 Transformer 的 GNN 模型，叫做 UGformer，用于学习图表示。UGformer 有两个变体，第一个变体利用 Transformer 对每个输入节点的一组采样邻居进行编码，第二个变体利用 Transformer 对所有输入节点进行编码。实验结果表明，第一个变体在归纳和非监督转导设置下实现了基准数据集上的最新最准确统计，第二个变体在归纳文本分类中获得了最高准确率。

Sep, 2019