稀疏图注意力网络
本文提出新颖的神经网络结构图注意力网络(GATs),利用掩码的自我关注层处理图结构化数据的缺点,有效提出解决谱学派图神经网络中的几个关键挑战的方法,并在四个数据集上取得了最先进的结果。
Oct, 2017
本文提出 Spectral Graph Attention Network 和 SpGAT-Cheby 两种新的基于注意力机制的子图表示学习算法,具备捕捉图形全局特征和更少的学习参数的能力,通过半监督节点分类实验验证了算法的效果。
Mar, 2020
提出了一种名为 Directional Graph Attention Network (DGAT) 的新型图神经网络结构,利用特征注意力和全局方向信息提高图信息的传播能力,并通过拓扑信息引导的节点剪枝和边添加机制以及新的拉普拉斯矩阵来改善 GAT 存在的局限性,实验证明在真实数据集和合成数据集上,DGAT 在性能上优于传统的 GAT 模型,并在 7 个真实数据集中的 6 个数据集上超越了现有的最先进模型。
Mar, 2024
本研究提出了一种通过训练中的注意力基于边界值约束来缓解过度平滑和过度拟合的图注意力网络架构。实验证明该方法在常见基准数据集上比之前最先进的图注意力方法有了显著的改进
Oct, 2019
该研究介绍了 Graph Attention Networks (GATs) 架构,它们被认为是最先进的图形表示学习架构之一,但存在限制性静态注意力机制,限制了它们在表达简单图形问题方面的能力;因此,提出了一种动态图形注意力变量 GATv2,相对于 GAT 更具表现力。
May, 2021
本文探讨了基于图注意网络的 GATv2 在小型稀疏图结构中可能遇到的一些优化问题,并提出了改进的解决方案和方法,通过实验结果验证改进后的模型方案在节点级别回归任务中表现更好,同时提高了参数初始化的鲁棒性,并对其解释性进行了分析,以此来深入了解注意力机制。
May, 2023
本研究提出了一个基于 simplicial complex 的复杂语义表示方法:Simplicial Graph Attention Network (SGAT),通过将非目标节点的特征放置在简单形上,表示非线性、高阶节点或边缘的交互作用,并使用注意机制和上邻接来生成表示。实验证明,与其他当前最先进的异构图学习方法相比,SGAT 在节点分类任务和提取结构信息方面表现更好。
Jul, 2022
基于图神经网络 (Graph Neural Networks) 的优化和学习动态尚未被广泛探索,本研究通过分析图注意力网络 (Graph Attention Network) 提出的保守定律解释了标准初始化中参数变动困难的现象,并提出了一种初始化方案来平衡图注意力网络,使得深层网络更易于训练并加速收敛速度。
Oct, 2023
本文中,我们提出了基于图注意力网络(GAT)的正负权网络的通用求解器 - Signed Graph Attention Network(SiGAT)。SiGAT 结合了图图形理论,将常规 GAT 表示和处理有正权重和无权重的网络扩展到对于有正权重和负权重都包含的网络。实验结果表明,SiGAT 在三个真实数据集上的表现优于基于特征和网络嵌入方法,以及现有的基于 GNN 的方法,如带符号图卷积网络(SGCN)。
Jun, 2019