ICMLMay, 2024

图外部注意力增强变换器

PDF
TL;DRTransformer 的图表示学习中，通过引入 Graph External Attention 提出了一种新的关注机制来隐式捕捉图之间的相关性，进而用于设计了更全面的图表示框架 GEAET。通过在基准数据集上进行的实验证明，GEAET 达到了最先进的经验性能。
发现论文，激发创造
  • 全局自注意力作为图卷积替代方案

    该论文提出了一种名为 Edge-augmented Graph Transformer (EGT) 的框架来处理任意形式的结构数据，其中使用全局自我关注作为聚合机制，并通过边缘通道来演化结构信息，从而在图结构数据的学习任务中超越了卷积 / 消息传递图神经网络，并在 OGB-LSC PCQM4Mv2 数据集上实现了量子化学回归任务的最新性能。

    Aug, 2021

  • AnchorGT：用于可扩展图变换器的高效灵活的注意力架构

    通过全局感受野和几乎线性的复杂度，AnchorGT 提出了一种新颖的注意力结构，用于改进各种 GT 模型的可扩展性，实现更高的效果和更高的内存效率。

    May, 2024

  • 基于图的 Transformer 模型：注意力机制是否足够？

    提出了一种基于 Transformer 的 GRAP-Aware Transformer（GRAT）神经网络模型，利用自注意机制自适应地处理整个图的编码和解码，经过多种实验验证，其在 QM9 数据集的分子属性预测等任务上表现出了领先水平。

    Jun, 2020

  • 图注意力自编码器

    本文提出了一种名为 GATE 的神经网络结构，用于对图结构数据进行无监督表示学习，结合了自我注意机制，通过编码器 / 解码器层实现图结构输入和节点属性的重构，定量地评估在许多节点分类基准数据集上的表现。

    May, 2019

  • 大规模图的图转换器

    本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了 LargeGT 框架，并取得了 3 倍的加速和 16.8％的性能提升。

    Dec, 2023

  • 增强属性聚类的图形转换：一种创新的图形转换器方法

    本研究引入一种新的方法，将图自编码器与图变压器相结合，称为 GTAGC，以解决传统方法无法捕捉图中节点间复杂全局依赖情况的问题，该方法在基准数据集上表现出卓越性能，展现了图聚类方面的应用前景。

    Jun, 2023

  • 面向图表示学习的结构感知 Transformer

    本文提出了基于结构感知 (Transformers) 的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。

    Feb, 2022

  • 通过图增强改进知识图谱实体对齐

    本篇论文提出了一种基于图增强的新颖实体对齐方法 GAEA，结合实体 - 关系编码器和图扩充的方法来消除 KG 的结构异质性，进一步提高模型的对齐效果。

    Apr, 2023

  • GATE: 跨语言关系和事件抽取的图注意力 Transformer 编码器

    该研究介绍了一种称为 GATE 的图形注意变压器编码器，利用自我关注机制来学习同时考虑不同句法距离下单词之间依赖关系的表示，在跨语言关系和事件提取任务中表现出优异的性能。

    Oct, 2020

  • SignGT: 基于有符号关注机制的图转换器用于图表示学习

    提出了一种基于签名注意力的图变换器（SignGT），用于自适应地从图中捕获各种频率信息，并通过引入邻域偏置以保留局部拓扑信息学习信息节点表示。

    Oct, 2023