Jan, 2023

自适应深度图注意力网络

PDF
TL;DR本文通过系统性实验评估关注网络的层数与性能之间的关系，发现残差连接可以解决 Oversquashing 现象，提高 GAT 模型的性能。因此，我们提出了 ADGAT 变体模型，可根据图的稀疏性自适应选择层数，从而显着提高了模型的性能。
graph attention networksgatmodel performanceresidual connectionoversquashing
发现论文，激发创造
  • 图注意力网络

    本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

    Oct, 2017

  • 图注意力网络的注意力有多聚焦？

    该研究介绍了 Graph Attention Networks (GATs) 架构，它们被认为是最先进的图形表示学习架构之一，但存在限制性静态注意力机制，限制了它们在表达简单图形问题方面的能力；因此，提出了一种动态图形注意力变量 GATv2，相对于 GAT 更具表现力。

    May, 2021

  • GAT 是否失衡？

    基于图神经网络 (Graph Neural Networks) 的优化和学习动态尚未被广泛探索，本研究通过分析图注意力网络 (Graph Attention Network) 提出的保守定律解释了标准初始化中参数变动困难的现象，并提出了一种初始化方案来平衡图注意力网络，使得深层网络更易于训练并加速收敛速度。

    Oct, 2023

  • 异质图中的方向性邻居注意力表示学习

    提出了一种名为 Directional Graph Attention Network (DGAT) 的新型图神经网络结构，利用特征注意力和全局方向信息提高图信息的传播能力，并通过拓扑信息引导的节点剪枝和边添加机制以及新的拉普拉斯矩阵来改善 GAT 存在的局限性，实验证明在真实数据集和合成数据集上，DGAT 在性能上优于传统的 GAT 模型，并在 7 个真实数据集中的 6 个数据集上超越了现有的最先进模型。

    Mar, 2024

  • 稀疏图注意力网络

    该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

    Dec, 2019

  • 面向小型稀疏图结构的图注意力网络在汽车应用中的优化与解释

    本文探讨了基于图注意网络的 GATv2 在小型稀疏图结构中可能遇到的一些优化问题，并提出了改进的解决方案和方法，通过实验结果验证改进后的模型方案在节点级别回归任务中表现更好，同时提高了参数初始化的鲁棒性，并对其解释性进行了分析，以此来深入了解注意力机制。

    May, 2023

  • 基于大边际约束的图注意力网络的改进

    本研究提出了一种通过训练中的注意力基于边界值约束来缓解过度平滑和过度拟合的图注意力网络架构。实验证明该方法在常见基准数据集上比之前最先进的图注意力方法有了显著的改进

    Oct, 2019

  • 自动图神经网络

    本研究提出自动设计深层 GNN 的方法，其中添加了新型的跳跃连接以促进特征重用和缓解梯度消失问题，并允许进化算法在演化过程中增加 GNN 层数来生成更深的网络，在 Cora、Citeseer、Pubmed 和 PPI 数据集上实验表明，GNNs 的生成结果具有最先进的性能。

    Nov, 2020

  • 可学习的图卷积注意力网络

    该研究介绍了图卷积注意力层（CAT）和 GNN 架构（L-CAT），旨在充分利用两种方法的优势并自动插值 GCN，GAT 和 CAT。研究结果表明，在一系列数据集中，L-CAT 能够有效地组合不同的 GNN 层，优于竞争方法，从而减少了交叉验证的需求。

    Nov, 2022

  • 图注意力架构的鸟瞰教程

    本文系统而集中地介绍了基于注意力机制的图神经网络在自然语言处理、计算机视觉和推荐系统等领域的应用，以及它们的优缺点。

    Jun, 2022