Oct, 2023

SignGT: 基于有符号关注机制的图转换器用于图表示学习

PDF
TL;DR提出了一种基于签名注意力的图变换器（SignGT），用于自适应地从图中捕获各种频率信息，并通过引入邻域偏置以保留局部拓扑信息学习信息节点表示。
graph transformersself-attention mechanismsigned attentionfrequency informationlocal topology information
发现论文，激发创造
  • 有符号图注意力网络

    本文中，我们提出了基于图注意力网络（GAT）的正负权网络的通用求解器 - Signed Graph Attention Network（SiGAT）。SiGAT 结合了图图形理论，将常规 GAT 表示和处理有正权重和无权重的网络扩展到对于有正权重和负权重都包含的网络。实验结果表明，SiGAT 在三个真实数据集上的表现优于基于特征和网络嵌入方法，以及现有的基于 GNN 的方法，如带符号图卷积网络（SGCN）。

    Jun, 2019

  • AnchorGT：用于可扩展图变换器的高效灵活的注意力架构

    通过全局感受野和几乎线性的复杂度，AnchorGT 提出了一种新颖的注意力结构，用于改进各种 GT 模型的可扩展性，实现更高的效果和更高的内存效率。

    May, 2024

  • 如何寻找你友好的社区：自监督图注意力设计

    本文提出了一种基于自监督任务的改进图注意力模型 SuperGAT，用于学习在有噪声图中更具有区分性的表达。研究发现，同质性和平均度是影响注意力形式和自监督任务有效性的两个图特征，并提供了在这两个情况下使用的注意力设计指南。在 17 个真实世界数据集上的实验结果表明，SuperGAT 的表现优于基线模型。

    Apr, 2022

  • 大规模图的图转换器

    本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了 LargeGT 框架，并取得了 3 倍的加速和 16.8％的性能提升。

    Dec, 2023

  • 具有快速特征值逼近的谱图注意力网络

    本文提出 Spectral Graph Attention Network 和 SpGAT-Cheby 两种新的基于注意力机制的子图表示学习算法，具备捕捉图形全局特征和更少的学习参数的能力，通过半监督节点分类实验验证了算法的效果。

    Mar, 2020

  • 稀疏图注意力网络

    该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

    Dec, 2019

  • 基于混合聚焦和全范围注意力的图变换器

    基于纯注意力机制的 FFGT 图形 Transformer 可以缓解学习全局相关性时丢失本地信息的问题，并通过将全融注意力与邻域注意力相结合来聚合全局和本地信息，从而提高了现有图形 Transformer 在各种开放数据集上的性能。

    Nov, 2023

  • 图卷积丰富了 Transformer 中的自注意力

    用基于图滤波的自注意力机制 (GFSA) 在 Transformer 模型中解决了过度平滑问题，提高了在计算机视觉、自然语言处理、图形模式分类、语音识别和代码分类等各领域的性能。

    Dec, 2023

  • 自注意力增强的图卷积网络：结构学习和节点嵌入

    本研究提出了一种名为 GCN-SA 的新型图学习框架，它具有出色的节点级表示学习的泛化能力，并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉，从而使其能够在具有不同程度同质性的图上进行表示学习。

    Mar, 2024

  • 图注意力网络

    本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

    Oct, 2017