Jun, 2024

重新审视注意力权重作为消息传递神经网络的解读

PDF
TL;DR自我注意机制在信息传递神经网络（MPNNs）中得到了采用，它自适应地控制着沿着底层图的边缘流动的信息量。然而，现有的研究通常使用简单的计算方法来从注意力中推导出归因分数，并且不考虑边缘归属的精确和谨慎计算。
self-attention mechanismmessage-passing neural networksexplainable aiattention weightsedge attribution
发现论文，激发创造
  • GAT 是否失衡？

    基于图神经网络 (Graph Neural Networks) 的优化和学习动态尚未被广泛探索，本研究通过分析图注意力网络 (Graph Attention Network) 提出的保守定律解释了标准初始化中参数变动困难的现象，并提出了一种初始化方案来平衡图注意力网络，使得深层网络更易于训练并加速收敛速度。

    Oct, 2023

  • 图注意力网络

    本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

    Oct, 2017

  • 从信息论的角度重新思考注意力权重作为解释

    在信息理论的角度下，论文研究了不同类型的注意力机制在保留信息和解释模型输入方面的表现，并得出了一些结论。

    Oct, 2022

  • 基于图注意力的 GNN 模型解释的语义解读和验证

    提出了一种通过应用语义关注来增强图神经网络 (GNN) 模型的可解释性的方法，介绍了语义信息的扰动以及预测的特征重要性权重和模型准确性之间的相关性，应用于 Lidar 点云估计模型成功地识别出有助于提高性能的关键语义类别，从而有效生成可靠的事后语义解释。

    Aug, 2023

  • 基于大边际约束的图注意力网络的改进

    本研究提出了一种通过训练中的注意力基于边界值约束来缓解过度平滑和过度拟合的图注意力网络架构。实验证明该方法在常见基准数据集上比之前最先进的图注意力方法有了显著的改进

    Oct, 2019

  • 使用同构性在图神经网络中进行监督关注

    本文提出了一种改进图注意力网络中节点分类的方法，使其更能准确地区分不同类别的节点，在多个节点分类数据集上得到了较高的表现。

    Jul, 2023

  • 如何寻找你友好的社区：自监督图注意力设计

    本文提出了一种基于自监督任务的改进图注意力模型 SuperGAT，用于学习在有噪声图中更具有区分性的表达。研究发现，同质性和平均度是影响注意力形式和自监督任务有效性的两个图特征，并提供了在这两个情况下使用的注意力设计指南。在 17 个真实世界数据集上的实验结果表明，SuperGAT 的表现优于基线模型。

    Apr, 2022

  • 图神经网络中注意力和泛化的理解

    本研究关注于图神经网络中节点的注意力机制及其效果影响，特别地，对比研究了图同构网络，在设计出一系列简单的图推理任务后，研究发现在典型环境下注意力的作用微乎其微，甚至有害作用，但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件，通常需要在初始化或监督训练注意力方面下功夫，并提出了一种弱监督训练注意力的方法，实现效果与有监督学习基本一致，比无监督学习在多个数据集上都要好。

    May, 2019

  • 稀疏图注意力网络

    该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

    Dec, 2019

  • 图注意力网络的注意力有多聚焦？

    该研究介绍了 Graph Attention Networks (GATs) 架构，它们被认为是最先进的图形表示学习架构之一，但存在限制性静态注意力机制，限制了它们在表达简单图形问题方面的能力；因此，提出了一种动态图形注意力变量 GATv2，相对于 GAT 更具表现力。

    May, 2021