ICLRApr, 2022

如何寻找你友好的社区：自监督图注意力设计

PDF
TL;DR本文提出了一种基于自监督任务的改进图注意力模型 SuperGAT，用于学习在有噪声图中更具有区分性的表达。研究发现，同质性和平均度是影响注意力形式和自监督任务有效性的两个图特征，并提供了在这两个情况下使用的注意力设计指南。在 17 个真实世界数据集上的实验结果表明，SuperGAT 的表现优于基线模型。
attention mechanismgraph neural networksself-supervisionedgesgraph characteristics
发现论文，激发创造
  • 使用同构性在图神经网络中进行监督关注

    本文提出了一种改进图注意力网络中节点分类的方法，使其更能准确地区分不同类别的节点，在多个节点分类数据集上得到了较高的表现。

    Jul, 2023

  • 基于自注意力图网络的知识库半监督训练在链接预测上的应用

    本文提出了一种基于自我注意机制的改进图神经网络（GNN）方法以及一个基于预训练模型的半监督自我训练方法。实验结果表明这些方法都可以有效地提高链接预测任务的性能。

    Sep, 2022

  • 稀疏图注意力网络

    该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

    Dec, 2019

  • 异质图中的方向性邻居注意力表示学习

    提出了一种名为 Directional Graph Attention Network (DGAT) 的新型图神经网络结构，利用特征注意力和全局方向信息提高图信息的传播能力，并通过拓扑信息引导的节点剪枝和边添加机制以及新的拉普拉斯矩阵来改善 GAT 存在的局限性，实验证明在真实数据集和合成数据集上，DGAT 在性能上优于传统的 GAT 模型，并在 7 个真实数据集中的 6 个数据集上超越了现有的最先进模型。

    Mar, 2024

  • 图注意力网络

    本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

    Oct, 2017

  • 图神经网络中注意力和泛化的理解

    本研究关注于图神经网络中节点的注意力机制及其效果影响，特别地，对比研究了图同构网络，在设计出一系列简单的图推理任务后，研究发现在典型环境下注意力的作用微乎其微，甚至有害作用，但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件，通常需要在初始化或监督训练注意力方面下功夫，并提出了一种弱监督训练注意力的方法，实现效果与有监督学习基本一致，比无监督学习在多个数据集上都要好。

    May, 2019

  • 具有快速特征值逼近的谱图注意力网络

    本文提出 Spectral Graph Attention Network 和 SpGAT-Cheby 两种新的基于注意力机制的子图表示学习算法，具备捕捉图形全局特征和更少的学习参数的能力，通过半监督节点分类实验验证了算法的效果。

    Mar, 2020

  • 基于因果推断的图神经网络注意力监察：通往强大注意力的更好和更简单选择

    本文介绍了一种新的框架，利用因果关系工具为学习注意力函数的过程提供强有力的监督信号，可用于任何基本的基于注意力的图神经网络，并在广泛的基准数据集上进行了验证。

    May, 2023

  • 自注意力增强的图卷积网络：结构学习和节点嵌入

    本研究提出了一种名为 GCN-SA 的新型图学习框架，它具有出色的节点级表示学习的泛化能力，并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉，从而使其能够在具有不同程度同质性的图上进行表示学习。

    Mar, 2024

  • 图注意力回顾

    本文针对图神经网络进行多个实验，并研究其在节点分类问题中的理论表现。研究结果指出，图注意力机制可以区分类内和类间边缘，重要边的权重得以保留，进而实现完美的节点分类。

    Feb, 2022