Jun, 2023

图神经网络中的深度关注：问题及解决方案

PDF
TL;DR本研究通过理论和实证分析，探讨了深度图注意力中涉及的一些问题现象，包括易受平滑功能影响和光滑累积注意力。由此，研究者提出了一种名为 AEROGNN 的新型 GNN 体系结构，用于深度图注意力，其已被证明可以缓解这些问题。
graph neural networksattention-based gnnsnode relationsdeep graph attentionaerognn
发现论文，激发创造
  • 图注意力架构的鸟瞰教程

    本文系统而集中地介绍了基于注意力机制的图神经网络在自然语言处理、计算机视觉和推荐系统等领域的应用，以及它们的优缺点。

    Jun, 2022

  • 图神经网络中注意力和泛化的理解

    本研究关注于图神经网络中节点的注意力机制及其效果影响，特别地，对比研究了图同构网络，在设计出一系列简单的图推理任务后，研究发现在典型环境下注意力的作用微乎其微，甚至有害作用，但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件，通常需要在初始化或监督训练注意力方面下功夫，并提出了一种弱监督训练注意力的方法，实现效果与有监督学习基本一致，比无监督学习在多个数据集上都要好。

    May, 2019

  • 少样本学习的注意力图神经网络

    本研究提出了一种新型的注意力图神经网络 (Attentive GNN)，该网络通过三重注意力机制（节点自注意力、邻域注意力、层记忆注意力）处理 GNN 深度学习中存在的过拟合和过度平滑问题，从而最终提升了其在小样本学习任务上的性能表现。实验证明，相比于其他现有的 GNN 和 CNN 方法，在深度神经网络骨架 (ConvNet-4 和 ResNet) 和归纳、传导方式下，在 mini-ImageNet 和 tiered-ImageNet 数据集上，该新型图神经网络取得了令人满意的结果。

    Jul, 2020

  • 鲁棒大规模网络定位的注意力图神经网络

    提出了一种基于图神经网络的网络定位方法，通过结合关注机制，在严重的非直线视线传播情况下实现了卓越的稳定性和准确性，消除了离线校准或非直线视线识别的需求。

    Nov, 2023

  • 自动图神经网络

    本研究提出自动设计深层 GNN 的方法，其中添加了新型的跳跃连接以促进特征重用和缓解梯度消失问题，并允许进化算法在演化过程中增加 GNN 层数来生成更深的网络，在 Cora、Citeseer、Pubmed 和 PPI 数据集上实验表明，GNNs 的生成结果具有最先进的性能。

    Nov, 2020

  • 关于注意力图神经网络中过度平滑现象的揭秘

    本篇论文通过严密的数学分析，将注意力机制的图神经网络视为非线性时变动力系统，并将不均匀矩阵的乘积和联合谱半径的理论工具和技术纳入分析，证明了注意力机制无法避免过度平滑，并且会以指数方式失去表达能力

    May, 2023

  • 自适应深度图注意力网络

    本文通过系统性实验评估关注网络的层数与性能之间的关系，发现残差连接可以解决 Oversquashing 现象，提高 GAT 模型的性能。因此，我们提出了 ADGAT 变体模型，可根据图的稀疏性自适应选择层数，从而显着提高了模型的性能。

    Jan, 2023

  • 稀疏图注意力网络

    该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

    Dec, 2019

  • 利用关系嵌入减少图神经网络中的过度平滑

    本文提出了一种使用节点嵌入关系明确缓解图神经网络（GNNs）中超平滑问题的新方法。通过在真实数据集上进行试验，表明利用节点嵌入关系使得 GNN 模型如 Graph Attention Network 对超平滑的鲁棒性更强，并且在更深的 GNNs 下取得更好的性能。我们的方法可以与其他方法结合使用，以获得最佳性能。

    Jan, 2023

  • 图注意力回顾

    本文针对图神经网络进行多个实验，并研究其在节点分类问题中的理论表现。研究结果指出，图注意力机制可以区分类内和类间边缘，重要边的权重得以保留，进而实现完美的节点分类。

    Feb, 2022