ICLRJun, 2022

NAGPhormer：用于大型图中节点分类的基于令牌化的图变换器

PDF
TL;DR本文提出了一种邻域聚合图变换器（NAGphormer）来处理大规模数据集的图分析问题，在 Hop2Token 模块的引导下， NAGphormer 能够将每个节点作为包含一系列令牌的序列处理，利用邻域信息构建一个序列来训练模型，从而在图神经网络中表现出更好的表征学习能力。
graph transformerneighborhood aggregationhop2tokenmulti-hop neighborhoodsgraph mining
发现论文，激发创造
  • 大型图中节点分类的带邻域增强的标记图变换器

    本研究提出了一种称为邻域聚合图变换器（NAGphormer）的方法，用于处理大规模图数据，它将每个节点视为一个序列，每个序列包含一系列通过 Hop2Token 模块构建的标记。NAGphormer 通过从不同跳的邻域特征进行聚合，生成一系列标记向量作为输入，能够以 mini-batch 的方式进行训练，并能够比图神经网络更好地学习多跳邻域的节点表示。研究同时提出了一种名为 Neighborhood Augmentation 的新型数据增强方法，以同时增强全局邻域和局部邻域的特征，进一步提高 NAGphormer 的训练效果。实验证明，NAGphormer 优于现有的图变换器和主流图神经网络，并且 NrAug 对 NAGphormer 进一步提升作用显著。

    May, 2023

  • Gophormer: 基于自我图转换器的节点分类

    提出了一种基于 ego-graphs 的 Gophormer 模型，将 transformer 应用于节点分类任务，通过邻域采样缓解了规模问题，并采用 proximity-enhanced attention 机制捕捉节点间的结构偏差，通过一致性规则和多样本推理策略稳定训练和测试。Gophormer 在六个基准数据集上的实验表明了其超越了现有的图转换器和热门的 GNN，并揭示了图转换器的未来发展前景。

    Oct, 2021

  • Transformers 高效分层化化学图学习器

    SubFormer 是一种图变换器，通过消息传递机制对子图进行操作，减少了标记数量，增强了学习长距离交互的能力。在预测分子属性和化学结构方面，SubFormer 与最先进的图变换器相比，在计算成本的一小部分情况下保持着竞争力，并且在消费级显卡上进行训练的时间仅为几分钟。我们通过对化学结构的注意权重进行解读，展示了 SubFormer 表现出有限的过度平滑和避免了传统图神经网络常见的过度压缩问题。

    Oct, 2023

  • NTFormer：一种用于节点分类的复合节点标记图注意力转换器

    通过引入名为 Node2Par 的新型令牌生成器，NTFormer 提出了一种新的图变换器，允许从不同的角度生成有价值的令牌序列，确保对丰富的图特征进行全面表达，并在各种基准数据集上进行了广泛的实验，证明了 NTFormer 在节点分类中的优越性。

    Jun, 2024

  • Heterformer：一种用于异构文本网络节点表征学习的 Transformer 架构

    本文提出了一种名为 Heterformer 的异构图神经网络 - 嵌套变形器，能够融合图神经网络和预训练语言模型来进行节点表示学习，实验结果证明其在链接预测、节点分类、节点聚类以及语义检索方面都优于现有的基准模型。

    May, 2022

  • 子图形转化器：通过图产品统一子图图神经网络与图变形器

    本文提出了一个结合 Subgraph GNNs 和 Graph Transformers 的架构，名为 Subgraphormer，通过将 Subgraph GNNs 的增强表达能力、消息传递机制和聚合方案与 Graph Transformers 中最重要的组件 —— 注意力机制和位置编码相结合。我们的方法基于 Subgraph GNNs 和自身的图像乘积之间的新联系，将 Subgraph GNNs 表述为在图像乘积上操作的 Message Passing Neural Networks (MPNNs)。我们利用这种表述设计了我们的架构：首先，我们设计了一个基于图像乘积的连接性的注意力机制。其次，我们提出了一种新颖高效的 Subgraph GNNs 位置编码方案，将其推导为图像乘积的位置编码。我们的实验结果显示，在广泛的数据集上，相比于 Subgraph GNNs 和 Graph Transformers，我们的方法显著提升了性能。

    Feb, 2024

  • 通用图形 Transformer 自注意力网络

    本文介绍了一种基于 Transformer 的 GNN 模型，叫做 UGformer，用于学习图表示。UGformer 有两个变体，第一个变体利用 Transformer 对每个输入节点的一组采样邻居进行编码，第二个变体利用 Transformer 对所有输入节点进行编码。实验结果表明，第一个变体在归纳和非监督转导设置下实现了基准数据集上的最新最准确统计，第二个变体在归纳文本分类中获得了最高准确率。

    Sep, 2019

  • AGFormer: 锚点图变换器实现高效图表示

    本研究提出了一种新的图形 Transformer 架构，称为 Anchor Graph Transformer（AGFormer），通过利用锚图模型将节点到节点的消息传递转换为锚到锚和锚到节点的消息传递过程，从而比常规节点到节点的 Transformer 更高效且更具鲁棒性。

    May, 2023

  • 一种将 Transformer 网络泛化至图形数据的方法

    本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

    Dec, 2020

  • 路径增强图变换器网络

    提出了一种基于路径增强的图转换网络 (PAGTN)，用于学习分子表示，并将其与基于图卷积网络 (GCN) 的模型进行比较，在分子属性预测方面表现更好，包括量子化学 (QM7，QM8，QM9)，物理化学 (ESOL，亲脂) 和生物化学 (BACE，BBBP) 数据集。

    May, 2019