Jul, 2020

少样本学习的注意力图神经网络

PDF
TL;DR本研究提出了一种新型的注意力图神经网络 (Attentive GNN)，该网络通过三重注意力机制（节点自注意力、邻域注意力、层记忆注意力）处理 GNN 深度学习中存在的过拟合和过度平滑问题，从而最终提升了其在小样本学习任务上的性能表现。实验证明，相比于其他现有的 GNN 和 CNN 方法，在深度神经网络骨架 (ConvNet-4 和 ResNet) 和归纳、传导方式下，在 mini-ImageNet 和 tiered-ImageNet 数据集上，该新型图神经网络取得了令人满意的结果。
graph neural networksfew-shot learningattentive gnntriple-attention mechanismover-fitting and over-smoothing
发现论文，激发创造
  • 鲁棒大规模网络定位的注意力图神经网络

    提出了一种基于图神经网络的网络定位方法，通过结合关注机制，在严重的非直线视线传播情况下实现了卓越的稳定性和准确性，消除了离线校准或非直线视线识别的需求。

    Nov, 2023

  • 图神经网络中的深度关注：问题及解决方案

    本研究通过理论和实证分析，探讨了深度图注意力中涉及的一些问题现象，包括易受平滑功能影响和光滑累积注意力。由此，研究者提出了一种名为 AEROGNN 的新型 GNN 体系结构，用于深度图注意力，其已被证明可以缓解这些问题。

    Jun, 2023

  • 图注意力架构的鸟瞰教程

    本文系统而集中地介绍了基于注意力机制的图神经网络在自然语言处理、计算机视觉和推荐系统等领域的应用，以及它们的优缺点。

    Jun, 2022

  • 基于注意力机制的图神经网络半监督学习

    本文提出一种使用注意力机制的图神经网络，通过去除中间的全连接层，并结合图结构实现对邻域的动态自适应的总结，从而达到降低参数数量，提高半监督学习效果的目的。

    Mar, 2018

  • 图神经网络中注意力和泛化的理解

    本研究关注于图神经网络中节点的注意力机制及其效果影响，特别地，对比研究了图同构网络，在设计出一系列简单的图推理任务后，研究发现在典型环境下注意力的作用微乎其微，甚至有害作用，但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件，通常需要在初始化或监督训练注意力方面下功夫，并提出了一种弱监督训练注意力的方法，实现效果与有监督学习基本一致，比无监督学习在多个数据集上都要好。

    May, 2019

  • 稀疏图注意力网络

    该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

    Dec, 2019

  • 基于知识迁移的图少样本学习

    本文提出了一种基于 Graph Neural Networks 和 graph few-shot learning 算法的半监督节点分类方法，通过传递先前学习的辅助图中的结构知识来改进目标图上的分类精度，并在四个真实世界图数据集上的实验和消融研究中证明了该模型的有效性。

    Oct, 2019

  • 图注意力回顾

    本文针对图神经网络进行多个实验，并研究其在节点分类问题中的理论表现。研究结果指出，图注意力机制可以区分类内和类间边缘，重要边的权重得以保留，进而实现完美的节点分类。

    Feb, 2022

  • 使用注意力驱动的脉冲神经网络增强图表示学习

    本文提出了一个将注意机制与脉冲神经网络 (SNN) 相结合的新方法，以改进图表示学习的能力。该方法能够在学习过程中选择性地关注图中重要的节点和相应的特征，并在多个基准数据集上进行评估，结果显示其性能与现有的图学习技术相当。

    Mar, 2024

  • 元图学习中的小样本节点分类 Meta-GNN

    提出了一种新的基于元学习的图分类模型 Meta-GNN，能够在非欧几里得领域解决节点分类问题，并在多个基准数据集上实现了较大幅度的性能改进和任务适应能力的提高。

    May, 2019