提出了一种名为 Directional Graph Attention Network (DGAT) 的新型图神经网络结构，利用特征注意力和全局方向信息提高图信息的传播能力，并通过拓扑信息引导的节点剪枝和边添加机制以及新的拉普拉斯矩阵来改善 GAT 存在的局限性，实验证明在真实数据集和合成数据集上，DGAT 在性能上优于传统的 GAT 模型，并在 7 个真实数据集中的 6 个数据集上超越了现有的最先进模型。

Mar, 2024

本文提出了一种改进图注意力网络中节点分类的方法，使其更能准确地区分不同类别的节点，在多个节点分类数据集上得到了较高的表现。

Jul, 2023

该研究介绍了图卷积注意力层（CAT）和 GNN 架构（L-CAT），旨在充分利用两种方法的优势并自动插值 GCN，GAT 和 CAT。研究结果表明，在一系列数据集中，L-CAT 能够有效地组合不同的 GNN 层，优于竞争方法，从而减少了交叉验证的需求。

Nov, 2022

本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

Oct, 2017

本研究提出了一个基于 simplicial complex 的复杂语义表示方法：Simplicial Graph Attention Network (SGAT)，通过将非目标节点的特征放置在简单形上，表示非线性、高阶节点或边缘的交互作用，并使用注意机制和上邻接来生成表示。实验证明，与其他当前最先进的异构图学习方法相比，SGAT 在节点分类任务和提取结构信息方面表现更好。

Jul, 2022

本文提出了一种新颖的注意力机制 Causal Attention (CATT)，用于消除现有基于注意力的视觉语言模型中一直存在的混淆效应，CATT 可替换任何注意力模块，可大幅提高各种流行的注意力模型的性能，尤其在大规模预训练中具有潜力。

Mar, 2021

本文提出了一种基于自监督任务的改进图注意力模型 SuperGAT，用于学习在有噪声图中更具有区分性的表达。研究发现，同质性和平均度是影响注意力形式和自监督任务有效性的两个图特征，并提供了在这两个情况下使用的注意力设计指南。在 17 个真实世界数据集上的实验结果表明，SuperGAT 的表现优于基线模型。

Apr, 2022

本研究介绍了一种新颖的拓扑周期图注意力网络（CycGAT），旨在从非必要、冗余的连接中绘制出脑功能图的功能骨架 —— 信号传输的关键通路，这些连接环绕在核心结构周围形成循环。我们首先引入一个循环关联矩阵，建立了图中的独立循环基础，以映射其与边的关系。我们提出了一种循环图卷积，利用循环关联矩阵导出的循环邻接矩阵，在循环的领域内针对性地过滤边的信号。此外，我们通过在循环中引入边的位置编码，进一步增强了循环图卷积的表示能力，并通过模拟和在一个 ABCD 研究的 fMRI 数据（n=8765）上的实验验证了 CycGAT 的定位能力，将其与基准模型进行了比较。CycGAT 优于这些模型，能够识别出功能骨架，并且所需的循环数量明显较少，这对于理解与智力相关的神经回路至关重要。我们的代码将在接受后发布。

Mar, 2024

该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

Dec, 2019

GATE 是一种 GAT 的扩展，通过解决不必要的邻居聚合的根本原因，减轻了过平滑问题，并通过减小与不相关邻居的连接权重，在真实世界的异质数据集上常常优于 GAT。

Jun, 2024