该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

Dec, 2019

本文提出了一种改进图注意力网络中节点分类的方法，使其更能准确地区分不同类别的节点，在多个节点分类数据集上得到了较高的表现。

Jul, 2023

该研究介绍了 Graph Attention Networks (GATs) 架构，它们被认为是最先进的图形表示学习架构之一，但存在限制性静态注意力机制，限制了它们在表达简单图形问题方面的能力；因此，提出了一种动态图形注意力变量 GATv2，相对于 GAT 更具表现力。

May, 2021

本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

Oct, 2017

基于图神经网络 (Graph Neural Networks) 的优化和学习动态尚未被广泛探索，本研究通过分析图注意力网络 (Graph Attention Network) 提出的保守定律解释了标准初始化中参数变动困难的现象，并提出了一种初始化方案来平衡图注意力网络，使得深层网络更易于训练并加速收敛速度。

Oct, 2023

本文通过系统性实验评估关注网络的层数与性能之间的关系，发现残差连接可以解决 Oversquashing 现象，提高 GAT 模型的性能。因此，我们提出了 ADGAT 变体模型，可根据图的稀疏性自适应选择层数，从而显着提高了模型的性能。

Jan, 2023

本文提出 Spectral Graph Attention Network 和 SpGAT-Cheby 两种新的基于注意力机制的子图表示学习算法，具备捕捉图形全局特征和更少的学习参数的能力，通过半监督节点分类实验验证了算法的效果。

Mar, 2020

本文提出了一种基于自监督任务的改进图注意力模型 SuperGAT，用于学习在有噪声图中更具有区分性的表达。研究发现，同质性和平均度是影响注意力形式和自监督任务有效性的两个图特征，并提供了在这两个情况下使用的注意力设计指南。在 17 个真实世界数据集上的实验结果表明，SuperGAT 的表现优于基线模型。

Apr, 2022

本研究提出了一个基于 simplicial complex 的复杂语义表示方法：Simplicial Graph Attention Network (SGAT)，通过将非目标节点的特征放置在简单形上，表示非线性、高阶节点或边缘的交互作用，并使用注意机制和上邻接来生成表示。实验证明，与其他当前最先进的异构图学习方法相比，SGAT 在节点分类任务和提取结构信息方面表现更好。

Jul, 2022

本文探讨了基于图注意网络的 GATv2 在小型稀疏图结构中可能遇到的一些优化问题，并提出了改进的解决方案和方法，通过实验结果验证改进后的模型方案在节点级别回归任务中表现更好，同时提高了参数初始化的鲁棒性，并对其解释性进行了分析，以此来深入了解注意力机制。

May, 2023