Oct, 2023

通过根子树调整图中的自注意力

PDF
TL;DR本文介绍了一种名为 Subtree Attention (STA) 的新型多跳图注意力机制，它用于解决局部注意力和全局注意力之间的问题，并通过有效的形式实现了线性时间复杂度。在十个节点分类数据集上的全面评估表明，基于 STA 的模型优于现有的图转换器和主流图神经网络。
attention mechanismsgraph learningmulti-hop graph attention mechanismsubtree attention (sta)stagnn
发现论文，激发创造
  • 具有子图关注力的稳健分层图分类

    本研究提出了一种名为 SubGattPool 的算法，它能够联合学习子图注意力，利用两种不同类型的分层注意机制，以找到层次结构中的重要节点和图形中各层次结构的重要性，从而解决了现实世界中的图形分类问题，并在多个公开可用的图形分类数据集上取得了显著的性能提升。

    Jul, 2020

  • 基于随机注意机制的可解释且具有泛化能力的图学习

    本文提出了一种基于信息瓶颈原理的图随机注意力方式，用于解释学习过程中选择任务相关亚图，并保证这些亚图中不包含与任务不相关的模式，并在 8 个数据集上进行了广泛的实验，结果表明该方法比现有方法在解释和预测准确度上都有更好的表现。

    Jan, 2022

  • 如何寻找你友好的社区：自监督图注意力设计

    本文提出了一种基于自监督任务的改进图注意力模型 SuperGAT，用于学习在有噪声图中更具有区分性的表达。研究发现，同质性和平均度是影响注意力形式和自监督任务有效性的两个图特征，并提供了在这两个情况下使用的注意力设计指南。在 17 个真实世界数据集上的实验结果表明，SuperGAT 的表现优于基线模型。

    Apr, 2022

  • 图注意力回顾

    本文针对图神经网络进行多个实验，并研究其在节点分类问题中的理论表现。研究结果指出，图注意力机制可以区分类内和类间边缘，重要边的权重得以保留，进而实现完美的节点分类。

    Feb, 2022

  • 自注意力增强的图卷积网络：结构学习和节点嵌入

    本研究提出了一种名为 GCN-SA 的新型图学习框架，它具有出色的节点级表示学习的泛化能力，并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉，从而使其能够在具有不同程度同质性的图上进行表示学习。

    Mar, 2024

  • 图注意力网络

    本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

    Oct, 2017

  • 具有层次累积的树状关注

    本文提出了 “Hierarchy Accumulation” 的方法，将分析树结构编码为自注意力，以常数时间复杂度实现了序列模型，相较于 SOTA 方法，在四个 IWSLT 翻译任务和 WMT'14 英德翻译任务上表现更好，并在三项文本分类任务上胜过 Transformer 和 Tree-LSTM，同时表明使用分层先验可以补偿数据短缺，该模型更倾向于使用短语级别的自注意力。

    Feb, 2020

  • AnchorGT：用于可扩展图变换器的高效灵活的注意力架构

    通过全局感受野和几乎线性的复杂度，AnchorGT 提出了一种新颖的注意力结构，用于改进各种 GT 模型的可扩展性，实现更高的效果和更高的内存效率。

    May, 2024

  • 面向图表示学习的结构感知 Transformer

    本文提出了基于结构感知 (Transformers) 的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。

    Feb, 2022

  • 基于混合聚焦和全范围注意力的图变换器

    基于纯注意力机制的 FFGT 图形 Transformer 可以缓解学习全局相关性时丢失本地信息的问题，并通过将全融注意力与邻域注意力相结合来聚合全局和本地信息，从而提高了现有图形 Transformer 在各种开放数据集上的性能。

    Nov, 2023