IJCAISep, 2020

多跳注意力图神经网络

PDF
TL;DR提出了一种名为 MAGNA 的多跳图神经网络，该网络通过扩散先前层中的注意力分数以增加每一层的感受野，并在节点未直接相连时利用扩散先验的注意值捕获网络上下文信息，实验结果证明该网络在节点分类以及知识图谱完成基准测试上均达到了表现最佳。
self-attention mechanismgraph neural networksmulti-hop attentionlarge-scale structural informationknowledge graph completion
发现论文，激发创造
  • 面向大规模多机器人路径规划的消息感知图注意力网络

    本文介绍了一种基于 Graph Neural Networks 和注意力机制的多代理路径规划算法，在实验中表现良好，即使在非常大规模的情况下也能取得比基准模型高 47％的成功率。

    Nov, 2020

  • 图形遮罩注意力即可

    提出了一种基于注意力机制的学习图表的简单替代方法，被称为图形掩码注意力（MAG），在长距离任务上具有最先进的性能，并在超过 55 个节点和图级任务中优于强大的信息传递基线和复杂的注意力方法。与图神经网络相比，显示了显着更好的迁移学习能力，并具有与节点或边数目的次线性内存缩放相比较的相当或更好的时间和内存缩放性能。

    Feb, 2024

  • Hyper-SAGNN: 一种基于自注意力的超图神经网络

    本文介绍了一种新的基于自注意力机制的图神经网络 Hyper-SAGNN，可用于不同类型的超图及其不同的学习任务，包括各种基准网络数据集以及基因组学中的单细胞 Hi-C 数据集。该模型在传统任务上优于现有模型，在新任务 “outsider identification” 上表现优异。

    Nov, 2019

  • 少即是多：基于跳数的图注意力用于电路的可扩展和通用学习

    HOGA 是一种基于注意力机制的模型，能够在大规模、复杂电路问题中可扩展且具有泛化性，通过预先计算节点的逐跳特征并使用门控自注意力模块生成节点表示，自适应地学习不同跳之间的重要特征，因而适应不同电路结构，可在分布式环境下高效训练。在实验证明，与常规图神经网络相比，HOGA 在逻辑综合后的结果质量预测方面减少了 46.76% 的估计误差，在复杂技术映射后的看不见门级网络列表上识别功能块方面，HOGA 的推理准确率提高了 10%，而 HOGA 的训练时间几乎与计算资源的增加成线性关系。

    Mar, 2024

  • 一个模型无关的图神经网络用于整合局部和全局信息

    我们提出了一个新的模型无关的图神经网络（MaGNet）框架，能够顺序地集成不同顺序的信息，从高阶邻居中提取知识，并通过识别有影响力的紧凑图结构来提供有意义、可解释的结果。理论上，我们通过经验 Rademacher 复杂性建立了 MaGNet 的泛化误差界，并展示了它在表示逐层邻域混合方面的能力。使用模拟数据进行了全面的数值研究，证明了 MaGNet 相对于几种最先进的替代方法的卓越性能。此外，我们将 MaGNet 应用于一个从脑活动数据中提取关键信息的实际案例研究，从而突显了它在推动科学研究方面的有效性。

    Sep, 2023

  • 鲁棒大规模网络定位的注意力图神经网络

    提出了一种基于图神经网络的网络定位方法，通过结合关注机制，在严重的非直线视线传播情况下实现了卓越的稳定性和准确性，消除了离线校准或非直线视线识别的需求。

    Nov, 2023

  • MagNet：用于有向图的神经网络

    本文提出了基于磁性 Laplacian 的 MagNet，一种适用于有向图的频谱图神经网络。我们将该网络应用于多种有向图节点分类和链接预测任务中，并表明 MagNet 在所有任务中表现良好，并且在大多数任务中其表现优于所有其他方法。MagNet 的基本原理使得它可以适应其他频谱 GNN 架构。

    Feb, 2021

  • 自注意力增强的图卷积网络：结构学习和节点嵌入

    本研究提出了一种名为 GCN-SA 的新型图学习框架，它具有出色的节点级表示学习的泛化能力，并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉，从而使其能够在具有不同程度同质性的图上进行表示学习。

    Mar, 2024

  • 图神经网络中的深度关注：问题及解决方案

    本研究通过理论和实证分析，探讨了深度图注意力中涉及的一些问题现象，包括易受平滑功能影响和光滑累积注意力。由此，研究者提出了一种名为 AEROGNN 的新型 GNN 体系结构，用于深度图注意力，其已被证明可以缓解这些问题。

    Jun, 2023

  • 少样本学习的注意力图神经网络

    本研究提出了一种新型的注意力图神经网络 (Attentive GNN)，该网络通过三重注意力机制（节点自注意力、邻域注意力、层记忆注意力）处理 GNN 深度学习中存在的过拟合和过度平滑问题，从而最终提升了其在小样本学习任务上的性能表现。实验证明，相比于其他现有的 GNN 和 CNN 方法，在深度神经网络骨架 (ConvNet-4 和 ResNet) 和归纳、传导方式下，在 mini-ImageNet 和 tiered-ImageNet 数据集上，该新型图神经网络取得了令人满意的结果。

    Jul, 2020