Feb, 2022

释放 Transformer 在图形任务中的能力

HTML
PDF
TL;DR本研究提出了一种名为DET的新型Transformer架构，采用结构编码器聚合连接邻居的信息和语义编码器聚焦于远距离节点，通过自监督训练寻找所需的远距离邻居，比使用多跳邻居的方法更为优越。实验结果表明，DET在处理分子、网络和各种规模的知识图谱方面比对应的最新方法具有更优越的性能表现。
发现论文，激发创造
  • 通过相对位置对知识图谱进行文本生成的图结构建模

    本文介绍了Graformer，一种新颖的基于Transformer的编码器-解码器体系结构，用于图形到文本的生成。使用我们新颖的图形自我关注，节点的编码依赖于输入图中的所有节点，促进了全局模式的检测。通过学习不同关注头的节点之间的权重，Graformer实现了不同的连接视图，从而在AGENDA和WebNLG这两个流行的图形到文本生成基准测试中实现强大的性能。

    Jun, 2020

  • 一种将Transformer网络泛化至图形数据的方法

    本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的transformer模型。

    Dec, 2020

  • Transformer在图表示学习中真的表现糟糕吗？

    本文通过提出新型图神经网络Graphormer，将标准Transformer框架与多种简单的结构编码方法相结合，成功优化图结构数据的表示学习，特别是在最近的OGB Large-Scale Challenge中取得了优异结果，并证明了许多流行的GNN变体可以被Graphormer所覆盖。

    Jun, 2021

  • 面向图表示学习的结构感知Transformer

    本文提出了基于结构感知(Transformers)的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。

    Feb, 2022

  • 一种通用、强大、可扩展的图变换器配方

    本研究提出了一种关于如何构建通用、强大、可扩展的图形Transformer的方案，其中包括位置/结构编码、本地消息传递机制、全局注意机制等主要条件，可适用于小规模和大规模图形，并在16项基准测试中取得高竞争力的结果。

    May, 2022

  • 图注意力变换器

    该研究提出了一种图形变换器结构的分类体系，展示了其在分子预测等方面的潜力，探究了其在处理异质性图形及防止过多压缩等方面的效果，并提供了未来研究的方向和挑战。

    Feb, 2023

  • 大型图形表示中的Transformer简化与授权

    本文旨在提出一个简化的图结构Transformers算法架构(SGFormer)，该架构基于一个简单的attention模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

    Jun, 2023

  • Transformer和GNN能互助吗？

    在这篇论文中，我们提出了一种名为TransGNN的新模型，其中Transformer层和GNN层交替使用以相互改进。我们利用Transformer来聚合更相关的节点信息以改善GNNs的消息传递，并利用位置编码和GNN层将图结构融入节点属性中，改善Transformer在图数据中的表现。通过理论证明，我们证明了TransGNN相对于仅具有额外线性复杂度的GNNs更具表达力。在八个数据集上的实验证实了TransGNN在节点和图分类任务上的有效性。

    Aug, 2023

  • 结构保持图变换的调研

    对保持图结构和理解图的本质的图变换模型的挑战和未来方向进行全面的概述。

    Jan, 2024

  • SGFormer：具有无近似线性复杂度的单层图变换器

    本研究解决了在大图上学习表示的效率问题，挑战在于现有变换器模型通常过于复杂且层数过多。提出的SGFormer简化了模型架构，通过单层全局注意力实现线性缩放，并保持了表示学习的能力。研究表明，SGFormer在中等规模图上具有显著的推理加速效果，尤其在标记数据有限的情况下依然表现出竞争力。

    Sep, 2024