图注意力架构的鸟瞰教程
该研究整理并总结了关于应用于计算机视觉的基于图神经网络(GNNs)及其派生物(如 GAT、GCN 和 GRN)的方法的论文,从网络结构、数据集、以及与其他领域的关联等三个方面进行了详细阐述。
Dec, 2022
本研究关注于图神经网络中节点的注意力机制及其效果影响,特别地,对比研究了图同构网络,在设计出一系列简单的图推理任务后,研究发现在典型环境下注意力的作用微乎其微,甚至有害作用,但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件,通常需要在初始化或监督训练注意力方面下功夫,并提出了一种弱监督训练注意力的方法,实现效果与有监督学习基本一致,比无监督学习在多个数据集上都要好。
May, 2019
本研究通过理论和实证分析,探讨了深度图注意力中涉及的一些问题现象,包括易受平滑功能影响和光滑累积注意力。由此,研究者提出了一种名为 AEROGNN 的新型 GNN 体系结构,用于深度图注意力,其已被证明可以缓解这些问题。
Jun, 2023
本文提出新颖的神经网络结构图注意力网络(GATs),利用掩码的自我关注层处理图结构化数据的缺点,有效提出解决谱学派图神经网络中的几个关键挑战的方法,并在四个数据集上取得了最先进的结果。
Oct, 2017
该研究介绍了 Graph Attention Networks (GATs) 架构,它们被认为是最先进的图形表示学习架构之一,但存在限制性静态注意力机制,限制了它们在表达简单图形问题方面的能力;因此,提出了一种动态图形注意力变量 GATv2,相对于 GAT 更具表现力。
May, 2021
本研究提出了一种新型的注意力图神经网络 (Attentive GNN),该网络通过三重注意力机制(节点自注意力、邻域注意力、层记忆注意力)处理 GNN 深度学习中存在的过拟合和过度平滑问题,从而最终提升了其在小样本学习任务上的性能表现。实验证明,相比于其他现有的 GNN 和 CNN 方法,在深度神经网络骨架 (ConvNet-4 和 ResNet) 和归纳、传导方式下,在 mini-ImageNet 和 tiered-ImageNet 数据集上,该新型图神经网络取得了令人满意的结果。
Jul, 2020
本文研究了如何将更丰富的结构分布用于深度神经网络中的嵌入式分类推理,通过两种不同的结构注意力网络:线性链条件随机场和基于图形的解析模型的实验,展示了这些结构的注意力网络超过了基线的注意力模型在各种合成和真实任务中的表现。
Feb, 2017
本研究在任务导向的角度下,综述了 GNN 与图 Transformer 在计算机视觉中的应用,根据输入数据的特征分为五个类别,并根据视觉任务,详细讨论了该问题所使用的不同基于 GNN 的方法、表现、挑战和未来方向。
Sep, 2022
使用图神经网络在高能物理等领域中解决点云问题取得了显著进展,本文将问题提升为拓扑问题,并提出了一种注意力机制,允许在学习空间中构建图结构以处理相关性流动,从而提供了一种拓扑问题的解决方案,我们在顶夸克标记任务上测试了名为 GravNetNorm 的这种架构,并显示其标记精度具有竞争力,且使用的计算资源远少于其他可比较的模型。
Jul, 2023