图注意力回顾
本文分析了图注意力网络及其在节点分类任务中的能力,通过对上下文随机块模型的探究,证明了在噪声情况下使用边特征的图注意力不如简单的图卷积,但当边特征干净时可以较好地区分内部边和外部边,以此优于经典的图卷积。
Oct, 2022
本研究关注于图神经网络中节点的注意力机制及其效果影响,特别地,对比研究了图同构网络,在设计出一系列简单的图推理任务后,研究发现在典型环境下注意力的作用微乎其微,甚至有害作用,但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件,通常需要在初始化或监督训练注意力方面下功夫,并提出了一种弱监督训练注意力的方法,实现效果与有监督学习基本一致,比无监督学习在多个数据集上都要好。
May, 2019
本文提出一种使用注意力机制的图神经网络,通过去除中间的全连接层,并结合图结构实现对邻域的动态自适应的总结,从而达到降低参数数量,提高半监督学习效果的目的。
Mar, 2018
本研究提出 Causal Attention Learning (CAL) 策略,利用因果推断来处理图分类过程中存在的 confounding effect of shortcuts,该方法借助注意力模块估计因果特征和快捷特征,并对因果理论进行参数化背门调整。实验结果表明,CAL 策略在合成和真实数据集上均取得了良好的效果。
Dec, 2021
本文提出新颖的神经网络结构图注意力网络(GATs),利用掩码的自我关注层处理图结构化数据的缺点,有效提出解决谱学派图神经网络中的几个关键挑战的方法,并在四个数据集上取得了最先进的结果。
Oct, 2017
提出了一种基于图神经网络的网络定位方法,通过结合关注机制,在严重的非直线视线传播情况下实现了卓越的稳定性和准确性,消除了离线校准或非直线视线识别的需求。
Nov, 2023
本文提出了一种新颖的框架,可以在任意图上学习空间和关注卷积神经网络,通过子图归一化和自我关注层,可以显著提高传统图内核和现有深度模型的图分类基准。
Nov, 2018
本文提出了一种新的基于注意力机制的图神经网络 GRAPH-BERT,通过在局部上下文中训练采样的无链接子图来学习 GRAPH-BERT,进而在节点分类和图聚类任务中通过微调 GRAPH-BERT 取得了良好的效果。
Jan, 2020