Oct, 2021

Gophormer: 基于自我图转换器的节点分类

PDF
TL;DR提出了一种基于 ego-graphs 的 Gophormer 模型，将 transformer 应用于节点分类任务，通过邻域采样缓解了规模问题，并采用 proximity-enhanced attention 机制捕捉节点间的结构偏差，通过一致性规则和多样本推理策略稳定训练和测试。Gophormer 在六个基准数据集上的实验表明了其超越了现有的图转换器和热门的 GNN，并揭示了图转换器的未来发展前景。
发现论文，激发创造
  • NAGPhormer：用于大型图中节点分类的基于令牌化的图变换器

    本文提出了一种邻域聚合图变换器（NAGphormer）来处理大规模数据集的图分析问题，在 Hop2Token 模块的引导下， NAGphormer 能够将每个节点作为包含一系列令牌的序列处理，利用邻域信息构建一个序列来训练模型，从而在图神经网络中表现出更好的表征学习能力。

    Jun, 2022

  • 子图形转化器：通过图产品统一子图图神经网络与图变形器

    本文提出了一个结合 Subgraph GNNs 和 Graph Transformers 的架构，名为 Subgraphormer，通过将 Subgraph GNNs 的增强表达能力、消息传递机制和聚合方案与 Graph Transformers 中最重要的组件 —— 注意力机制和位置编码相结合。我们的方法基于 Subgraph GNNs 和自身的图像乘积之间的新联系，将 Subgraph GNNs 表述为在图像乘积上操作的 Message Passing Neural Networks (MPNNs)。我们利用这种表述设计了我们的架构：首先，我们设计了一个基于图像乘积的连接性的注意力机制。其次，我们提出了一种新颖高效的 Subgraph GNNs 位置编码方案，将其推导为图像乘积的位置编码。我们的实验结果显示，在广泛的数据集上，相比于 Subgraph GNNs 和 Graph Transformers，我们的方法显著提升了性能。

    Feb, 2024

  • 通用图形 Transformer 自注意力网络

    本文介绍了一种基于 Transformer 的 GNN 模型，叫做 UGformer，用于学习图表示。UGformer 有两个变体，第一个变体利用 Transformer 对每个输入节点的一组采样邻居进行编码，第二个变体利用 Transformer 对所有输入节点进行编码。实验结果表明，第一个变体在归纳和非监督转导设置下实现了基准数据集上的最新最准确统计，第二个变体在归纳文本分类中获得了最高准确率。

    Sep, 2019

  • Transformer 在图表示学习中真的表现糟糕吗？

    本文通过提出新型图神经网络 Graphormer，将标准 Transformer 框架与多种简单的结构编码方法相结合，成功优化图结构数据的表示学习，特别是在最近的 OGB Large-Scale Challenge 中取得了优异结果，并证明了许多流行的 GNN 变体可以被 Graphormer 所覆盖。

    Jun, 2021

  • 关系图变换器：用于知识图表示的关系图转换器

    本研究提出了一种新型变压器架构 Relphormer，其中引入 Triple2Seq 来动态采样上下文化子图序列作为输入以解决知识图谱中异构结构和语义信息难以捕获的问题，并提出了一种 novel self-attention 机制以编码关系信息。实验结果表明，相比基线模型，Relphormer 获得了更好的性能。

    May, 2022

  • 自适应节点采样的层次图形 Transformer

    本文提出针对当前图表示学习中的问题，通过将节点采样策略的优化进行对抗式强化学习，以及引入一种新的分层注意力方案，来提高图卷积网络（Graph Transformer）的性能，实验结果显示了新方法的优越性。

    Oct, 2022

  • 大型图中节点分类的带邻域增强的标记图变换器

    本研究提出了一种称为邻域聚合图变换器（NAGphormer）的方法，用于处理大规模图数据，它将每个节点视为一个序列，每个序列包含一系列通过 Hop2Token 模块构建的标记。NAGphormer 通过从不同跳的邻域特征进行聚合，生成一系列标记向量作为输入，能够以 mini-batch 的方式进行训练，并能够比图神经网络更好地学习多跳邻域的节点表示。研究同时提出了一种名为 Neighborhood Augmentation 的新型数据增强方法，以同时增强全局邻域和局部邻域的特征，进一步提高 NAGphormer 的训练效果。实验证明，NAGphormer 优于现有的图变换器和主流图神经网络，并且 NrAug 对 NAGphormer 进一步提升作用显著。

    May, 2023

  • Ego-GNNs：利用 Ego 结构在图神经网络中

    本研究提出了新的 Ego-GNN 方法，通过增加在每个节点周围子图中定义的信息来扩展 GNN 的消息传递操作，并证明了 Ego-GNN 比标准消息传递 GNN 更强大，能够识别封闭三角形，从而在绝大多数现实世界的图中更有效地进行节点分类。

    Jul, 2021

  • 大型图形表示中的 Transformer 简化与授权

    本文旨在提出一个简化的图结构 Transformers 算法架构 (SGFormer)，该架构基于一个简单的 attention 模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

    Jun, 2023

  • 通过边异构图神经网络来改进文章分类

    将研究成果分类为特定上下文的标签分类体系是一项具有挑战性且相关的下游任务，该论文提出了一种方法，通过使用边异构图来增强简单的图神经网络（GNN）管道的性能，实验证明边异构图能够提高 GNN 模型的性能，这项研究有望在节点分级分类方面提供性能改进。

    Sep, 2023