Jun, 2021

基于谱注意力的图卷积变换的反思

PDF
TL;DR本文介绍了新的图神经网络 $ extit {Spectral Attention Network}$ (SAN)，通过学习节点位置编码 (LPE) 来处理图结构数据，并采用全连接 Transformer 作为模型框架，有效地解决了信息瓶颈问题和节点位置定义问题，从而在 4 个标准元数据集上表现出超过同类模型的性能。
transformergraphsspectral attention networkposition encodingfully-connected
发现论文，激发创造
  • 无位置编码的图形变换器

    Eigenformer 通过一种新颖的对 Laplacian 谱意识的注意机制，在一些标准的图神经网络基准数据集上实现了与最先进的 MP-GNN 体系结构和 Graph Transformers 相当的性能，甚至在某些数据集上超越了最先进的方法。此外，我们发现我们的架构在训练速度方面要快得多，可能是由于内在的图归纳偏置。

    Jan, 2024

  • 具有可学习的结构和位置表示的图神经网络

    本文提出了一种新的 GNN 网络架构 LSPE，通过引入可学习的位置编码对节点的结构表达和位置表达进行解耦，应用在分子数据集上的实验结果表明 LSPE 能显著提高模型性能。

    Oct, 2021

  • 一种将 Transformer 网络泛化至图形数据的方法

    本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

    Dec, 2020

  • 具有快速特征值逼近的谱图注意力网络

    本文提出 Spectral Graph Attention Network 和 SpGAT-Cheby 两种新的基于注意力机制的子图表示学习算法，具备捕捉图形全局特征和更少的学习参数的能力，通过半监督节点分类实验验证了算法的效果。

    Mar, 2020

  • 自注意力编码与池化在说话人识别中的应用

    本文提出了 Tandem 自注意编码和池化（SAEP）机制来获取短语音说话人的辨别性 embedding，该方法利用了自注意力和位置编码，证明了该方法的有效性是比 ResNet-34，ResNet-50 和 x-vector 更高效的。

    Aug, 2020

  • 技术报告：图谱谱令牌 - 增强图变换器的谱信息

    通过引入图谱记号和图谱信息，我们提出了一种新颖的方法，将图谱的全局结构直接编码到变换器架构中，以增强图变换器的效果和性能。

    Apr, 2024

  • HyPE-GT: 图形 Transformer 遇见双曲型位置编码

    图变换器（GTs）通过计算节点对的自注意力，而不考虑节点位置信息，促进了对图结构数据的理解。为了解决这一限制，我们引入了一种创新且高效的框架，将位置编码（PEs）引入 Transformer，生成一组可学习的位置编码，这些位置编码存在于非欧几里德域中的双曲空间。通过这种方法，我们可以探索用于特定下游任务的 PEs 的多种选择选项，利用双曲神经网络或双曲图卷积网络。此外，我们重新使用这些位置编码来减轻深层图神经网络（GNNs）中的过度平滑的影响。对分子基准数据集、合著作者网络和共同购买网络进行的全面实验证实了双曲位置编码在提高深层 GNN 性能方面的有效性。

    Dec, 2023

  • 图转换器泛化能力的提升方法：关注力机制和位置编码的理论探讨

    该研究通过理论探索首次分析了浅层图变换器在半监督节点分类中的应用。它使用了自注意力和位置编码，并描述了实现理想的泛化误差所需的样本复杂度和迭代次数的定量特征。此外，文中还展示了自注意力和位置编码如何通过稀疏化注意力图和在训练过程中促进核心邻域，从而增强了图变换器的特征表示能力。实验证明了我们的理论结果。

    Jun, 2024

  • 面向图表示学习的结构感知 Transformer

    本文提出了基于结构感知 (Transformers) 的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。

    Feb, 2022

  • Specformer: 光谱图神经网络与 Transformer 的相遇

    本文介绍了一种称为 Specformer 的基于自注意机制的可学习集合对集合谱滤波器，实现对图形代表的编码，在单个样本数据集上进行测试并比其他谱 GNN 表现更好。

    Mar, 2023