Feb, 2024

图形遮罩注意力即可

PDF
TL;DR提出了一种基于注意力机制的学习图表的简单替代方法，被称为图形掩码注意力（MAG），在长距离任务上具有最先进的性能，并在超过 55 个节点和图级任务中优于强大的信息传递基线和复杂的注意力方法。与图神经网络相比，显示了显着更好的迁移学习能力，并具有与节点或边数目的次线性内存缩放相比较的相当或更好的时间和内存缩放性能。
graph neural networksmessage passing algorithmattentionmasked attention for graphstransfer learning
发现论文，激发创造
  • 面向大规模多机器人路径规划的消息感知图注意力网络

    本文介绍了一种基于 Graph Neural Networks 和注意力机制的多代理路径规划算法，在实验中表现良好，即使在非常大规模的情况下也能取得比基准模型高 47％的成功率。

    Nov, 2020

  • 多跳注意力图神经网络

    提出了一种名为 MAGNA 的多跳图神经网络，该网络通过扩散先前层中的注意力分数以增加每一层的感受野，并在节点未直接相连时利用扩散先验的注意值捕获网络上下文信息，实验结果证明该网络在节点分类以及知识图谱完成基准测试上均达到了表现最佳。

    Sep, 2020

  • 图注意力网络

    本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

    Oct, 2017

  • 图注意力架构的鸟瞰教程

    本文系统而集中地介绍了基于注意力机制的图神经网络在自然语言处理、计算机视觉和推荐系统等领域的应用，以及它们的优缺点。

    Jun, 2022

  • 图注意力回顾

    本文针对图神经网络进行多个实验，并研究其在节点分类问题中的理论表现。研究结果指出，图注意力机制可以区分类内和类间边缘，重要边的权重得以保留，进而实现完美的节点分类。

    Feb, 2022

  • 图神经网络中注意力和泛化的理解

    本研究关注于图神经网络中节点的注意力机制及其效果影响，特别地，对比研究了图同构网络，在设计出一系列简单的图推理任务后，研究发现在典型环境下注意力的作用微乎其微，甚至有害作用，但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件，通常需要在初始化或监督训练注意力方面下功夫，并提出了一种弱监督训练注意力的方法，实现效果与有监督学习基本一致，比无监督学习在多个数据集上都要好。

    May, 2019

  • Graph-Bert: 仅需注意力即可学习图形表示

    本文提出了一种新的基于注意力机制的图神经网络 GRAPH-BERT，通过在局部上下文中训练采样的无链接子图来学习 GRAPH-BERT，进而在节点分类和图聚类任务中通过微调 GRAPH-BERT 取得了良好的效果。

    Jan, 2020

  • 稀疏图注意力网络

    该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

    Dec, 2019

  • 基于注意力机制的图神经网络半监督学习

    本文提出一种使用注意力机制的图神经网络，通过去除中间的全连接层，并结合图结构实现对邻域的动态自适应的总结，从而达到降低参数数量，提高半监督学习效果的目的。

    Mar, 2018

  • 基于模 motif 的注意力机制的图卷称神经网络

    本文提出了一种新颖的框架，可以在任意图上学习空间和关注卷积神经网络，通过子图归一化和自我关注层，可以显著提高传统图内核和现有深度模型的图分类基准。

    Nov, 2018