May, 2019

图神经网络中注意力和泛化的理解

PDF
TL;DR本研究关注于图神经网络中节点的注意力机制及其效果影响，特别地，对比研究了图同构网络，在设计出一系列简单的图推理任务后，研究发现在典型环境下注意力的作用微乎其微，甚至有害作用，但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件，通常需要在初始化或监督训练注意力方面下功夫，并提出了一种弱监督训练注意力的方法，实现效果与有监督学习基本一致，比无监督学习在多个数据集上都要好。
发现论文，激发创造
  • 基于因果推断的图神经网络注意力监察：通往强大注意力的更好和更简单选择

    本文介绍了一种新的框架，利用因果关系工具为学习注意力函数的过程提供强有力的监督信号，可用于任何基本的基于注意力的图神经网络，并在广泛的基准数据集上进行了验证。

    May, 2023

  • 图注意力架构的鸟瞰教程

    本文系统而集中地介绍了基于注意力机制的图神经网络在自然语言处理、计算机视觉和推荐系统等领域的应用，以及它们的优缺点。

    Jun, 2022

  • 图注意力回顾

    本文针对图神经网络进行多个实验，并研究其在节点分类问题中的理论表现。研究结果指出，图注意力机制可以区分类内和类间边缘，重要边的权重得以保留，进而实现完美的节点分类。

    Feb, 2022

  • 图神经网络中的深度关注：问题及解决方案

    本研究通过理论和实证分析，探讨了深度图注意力中涉及的一些问题现象，包括易受平滑功能影响和光滑累积注意力。由此，研究者提出了一种名为 AEROGNN 的新型 GNN 体系结构，用于深度图注意力，其已被证明可以缓解这些问题。

    Jun, 2023

  • 鲁棒大规模网络定位的注意力图神经网络

    提出了一种基于图神经网络的网络定位方法，通过结合关注机制，在严重的非直线视线传播情况下实现了卓越的稳定性和准确性，消除了离线校准或非直线视线识别的需求。

    Nov, 2023

  • 如何寻找你友好的社区：自监督图注意力设计

    本文提出了一种基于自监督任务的改进图注意力模型 SuperGAT，用于学习在有噪声图中更具有区分性的表达。研究发现，同质性和平均度是影响注意力形式和自监督任务有效性的两个图特征，并提供了在这两个情况下使用的注意力设计指南。在 17 个真实世界数据集上的实验结果表明，SuperGAT 的表现优于基线模型。

    Apr, 2022

  • 因果关注力用于可解释和可泛化的图分类

    本研究提出 Causal Attention Learning (CAL) 策略，利用因果推断来处理图分类过程中存在的 confounding effect of shortcuts，该方法借助注意力模块估计因果特征和快捷特征，并对因果理论进行参数化背门调整。实验结果表明，CAL 策略在合成和真实数据集上均取得了良好的效果。

    Dec, 2021

  • 少样本学习的注意力图神经网络

    本研究提出了一种新型的注意力图神经网络 (Attentive GNN)，该网络通过三重注意力机制（节点自注意力、邻域注意力、层记忆注意力）处理 GNN 深度学习中存在的过拟合和过度平滑问题，从而最终提升了其在小样本学习任务上的性能表现。实验证明，相比于其他现有的 GNN 和 CNN 方法，在深度神经网络骨架 (ConvNet-4 和 ResNet) 和归纳、传导方式下，在 mini-ImageNet 和 tiered-ImageNet 数据集上，该新型图神经网络取得了令人满意的结果。

    Jul, 2020

  • 探索图神经网络的泛化理解

    研究了图神经网络在泛化上的机制，建立了高概率边界和其对泛化差距和梯度的影响，得出结论和实验证据相符的新认识。

    May, 2023

  • 使用同构性在图神经网络中进行监督关注

    本文提出了一种改进图注意力网络中节点分类的方法，使其更能准确地区分不同类别的节点，在多个节点分类数据集上得到了较高的表现。

    Jul, 2023