Mar, 2018

GaAN: 基于门控注意力的大规模时空图学习网络

PDF
TL;DR该文提出了一种新的网络架构 —— 门控注意力网络（GaAN），用于学习图形。该架构使用卷积子网络来控制每个注意力头的重要性，证明了其在归纳节点分类问题和交通速度预测问题上的有效性，并在三个真实世界数据集上取得了最先进的结果。
gated attention networksmulti-head attention mechanismconvolutional sub-networkinductive node classificationtraffic speed forecasting
发现论文，激发创造
  • 图注意力网络

    本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

    Oct, 2017

  • 基于图注意力神经网络的多智能体博弈抽象

    该研究针对大规模多智能体系统，建立一种基于完全图的游戏抽象机制，以简化学习过程，并通过交通路口和猎物 - 捕食者两种实验验证其在状态空间和收敛性能上的优势。

    Nov, 2019

  • 基于注意力机制的时空图卷积循环神经网络用于交通预测

    本文提出了一种新的空间 - 时间神经网络框架 ASTGCRN，其中包括图卷积循环模块 GCRN 和全局注意力模块，以有效地对运输数据进行复杂的时空依赖性和相关性建模，并采用三个独立模块的时间关注层来实现对全局时间依赖性的有效提取。实验结果表明，这三个模型均具有极佳的预测表现优于基准方法。

    Feb, 2023

  • 异质图中的方向性邻居注意力表示学习

    提出了一种名为 Directional Graph Attention Network (DGAT) 的新型图神经网络结构，利用特征注意力和全局方向信息提高图信息的传播能力，并通过拓扑信息引导的节点剪枝和边添加机制以及新的拉普拉斯矩阵来改善 GAT 存在的局限性，实验证明在真实数据集和合成数据集上，DGAT 在性能上优于传统的 GAT 模型，并在 7 个真实数据集中的 6 个数据集上超越了现有的最先进模型。

    Mar, 2024

  • 图注意力网络的注意力有多聚焦？

    该研究介绍了 Graph Attention Networks (GATs) 架构，它们被认为是最先进的图形表示学习架构之一，但存在限制性静态注意力机制，限制了它们在表达简单图形问题方面的能力；因此，提出了一种动态图形注意力变量 GATv2，相对于 GAT 更具表现力。

    May, 2021

  • 稀疏图注意力网络

    该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

    Dec, 2019

  • 基于图的多头注意力网络 GMAN 用于交通预测

    本文主要针对交通预测中的长期性和影响因素的复杂性，提出了一种基于图形多关注网络 (GMAN) 的方法，通过编码器 - 解码器结构中的多个时空注意力块，来建模时空因素对交通状况的影响，并在两个实际交通预测任务中进行了实验。实验结果表明，GMAN 方法比现有方法具有优越性。

    Nov, 2019

  • DAGCN: 双重注意力图卷积网络

    本研究提出了一种新的框架，双注意力图卷积网络，用于解决图分类任务中邻域汇聚和池化操作的问题，并通过实验比较证明了该模型优于其他基线模型和深度学习方法。

    Apr, 2019

  • 图神经网络中注意力和泛化的理解

    本研究关注于图神经网络中节点的注意力机制及其效果影响，特别地，对比研究了图同构网络，在设计出一系列简单的图推理任务后，研究发现在典型环境下注意力的作用微乎其微，甚至有害作用，但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件，通常需要在初始化或监督训练注意力方面下功夫，并提出了一种弱监督训练注意力的方法，实现效果与有监督学习基本一致，比无监督学习在多个数据集上都要好。

    May, 2019

  • 鲁棒大规模网络定位的注意力图神经网络

    提出了一种基于图神经网络的网络定位方法，通过结合关注机制，在严重的非直线视线传播情况下实现了卓越的稳定性和准确性，消除了离线校准或非直线视线识别的需求。

    Nov, 2023