Feb, 2022

释放 Transformer 在图形任务中的能力

PDF
TL;DR本研究提出了一种名为 DET 的新型 Transformer 架构，采用结构编码器聚合连接邻居的信息和语义编码器聚焦于远距离节点，通过自监督训练寻找所需的远距离邻居，比使用多跳邻居的方法更为优越。实验结果表明，DET 在处理分子、网络和各种规模的知识图谱方面比对应的最新方法具有更优越的性能表现。
transformergraphsscalabilitydetmulti-hop neighbors
发现论文，激发创造
  • 使用分层距离捕获多级图结构的变压器

    本文提出了一种层次距离结构编码（HDSE）方法，用于加强现有图变换器，同时应用于其他位置表示，通过在图中的节点之间建模层次距离来捕捉图的多层次、分层结构，通过在 12 个真实世界数据集上的实验证明，我们的 HDSE 方法成功地提升了各种类型的基准变换器，在 10 个基准数据集上获得了最先进的实证性能。

    Aug, 2023

  • 循环距离编码神经网络用于图表示学习

    通过最短距离和线性循环网络，我们提出了一种新的图神经网络架构，以解决信息提取和计算复杂度的挑战，并在各个基准测试中展示了与最新颖的图转换器相比性能具有竞争力且计算复杂度大大降低。

    Dec, 2023

  • 基于图的 Transformer 模型：注意力机制是否足够？

    提出了一种基于 Transformer 的 GRAP-Aware Transformer（GRAT）神经网络模型，利用自注意机制自适应地处理整个图的编码和解码，经过多种实验验证，其在 QM9 数据集的分子属性预测等任务上表现出了领先水平。

    Jun, 2020

  • 超图变换器用于半监督分类

    通过全球节点和超边之间的全球关联以及捕捉节点和超边之间的局部连接性，提出了一种新颖的超图学习框架，称为 HyperGraph Transformer（HyperGT），该框架利用基于 Transformer 的神经网络结构来有效地处理超图结构化数据，实现了全面的超图表示学习，并在超图节点分类任务中取得了出色的性能，超过了现有方法，建立了新的基准水平。

    Dec, 2023

  • 基于 Transformer 的实体类型在知识图谱中的应用

    本研究提出了一种基于 Transformer 的实体类型推断方法 (TET)，通过对实体邻居内容的有效编码，利用三种不同机制 (本地 Transformer、全局 Transformer 和上下文 Transformer) 来推断实体的缺失类型，并使用类型的类成员身份信息来语义强化实体的表示。实验表明，相对于现有技术，TET 的性能更卓越。

    Oct, 2022

  • 图形转换器用于图形到序列学习

    本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

    Nov, 2019

  • 一种将 Transformer 网络泛化至图形数据的方法

    本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

    Dec, 2020

  • 大型图形表示中的 Transformer 简化与授权

    本文旨在提出一个简化的图结构 Transformers 算法架构 (SGFormer)，该架构基于一个简单的 attention 模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

    Jun, 2023

  • 大规模图的图转换器

    本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了 LargeGT 框架，并取得了 3 倍的加速和 16.8％的性能提升。

    Dec, 2023

  • Transformer 和 GNN 能互助吗？

    在这篇论文中，我们提出了一种名为 TransGNN 的新模型，其中 Transformer 层和 GNN 层交替使用以相互改进。我们利用 Transformer 来聚合更相关的节点信息以改善 GNNs 的消息传递，并利用位置编码和 GNN 层将图结构融入节点属性中，改善 Transformer 在图数据中的表现。通过理论证明，我们证明了 TransGNN 相对于仅具有额外线性复杂度的 GNNs 更具表达力。在八个数据集上的实验证实了 TransGNN 在节点和图分类任务上的有效性。

    Aug, 2023