Apr, 2023

自注意力在颜色中的应用：利用变形器编码图结构的另一种方法

PDF
TL;DR本文提出了一种新颖的自注意机制，称为 CSA（Chromatic Self-Attention），并在完全注意的图变换器 CGT（Chromatic Graph Transformer）中展示了其应用，该变换器通过图中结构信息和边缘特征进行整合，提供了一个灵活的框架，用于编码图形结构和结合高阶拓扑结构，并在 ZINC 基准数据集上实现了最先进的结果。
发现论文，激发创造
  • 图转换器泛化能力的提升方法：关注力机制和位置编码的理论探讨

    该研究通过理论探索首次分析了浅层图变换器在半监督节点分类中的应用。它使用了自注意力和位置编码，并描述了实现理想的泛化误差所需的样本复杂度和迭代次数的定量特征。此外，文中还展示了自注意力和位置编码如何通过稀疏化注意力图和在训练过程中促进核心邻域，从而增强了图变换器的特征表示能力。实验证明了我们的理论结果。

    Jun, 2024

  • GraphiT：在 Transformers 中编码图结构

    本文提出了一种名为 GraphiT 的模型，将结构和位置信息融入到变换器体系结构中，以解决图像分类和回归等任务，并通过相对位置编码策略中的正定核和枚举和编码短路径等方法来实现，表现比传统方法更好。此外，该模型还具有解释和可视化图像的特点，有望成为解释性较强、科学应用领域中的潜在强大候选者。

    Jun, 2021

  • 自注意力增强的图卷积网络：结构学习和节点嵌入

    本研究提出了一种名为 GCN-SA 的新型图学习框架，它具有出色的节点级表示学习的泛化能力，并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉，从而使其能够在具有不同程度同质性的图上进行表示学习。

    Mar, 2024

  • 图卷积丰富了 Transformer 中的自注意力

    用基于图滤波的自注意力机制 (GFSA) 在 Transformer 模型中解决了过度平滑问题，提高了在计算机视觉、自然语言处理、图形模式分类、语音识别和代码分类等各领域的性能。

    Dec, 2023

  • 面向图表示学习的结构感知 Transformer

    本文提出了基于结构感知 (Transformers) 的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。

    Feb, 2022

  • 全局自注意力作为图卷积替代方案

    该论文提出了一种名为 Edge-augmented Graph Transformer (EGT) 的框架来处理任意形式的结构数据，其中使用全局自我关注作为聚合机制，并通过边缘通道来演化结构信息，从而在图结构数据的学习任务中超越了卷积 / 消息传递图神经网络，并在 OGB-LSC PCQM4Mv2 数据集上实现了量子化学回归任务的最新性能。

    Aug, 2021

  • 图注意力网络

    本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

    Oct, 2017

  • 学习视觉 Transformer 的相关结构

    我们引入了一种新的注意力机制，称为结构自注意力（StructSA），它利用注意力的键 - 查询交互中自然产生的丰富相关模式。使用结构自注意力作为主要构建模块，我们开发了结构视觉转换器（StructViT），并在图像和视频分类任务上评估其有效性，在 ImageNet-1K，Kinetics-400，Something-Something V1＆V2，Diving-48 和 FineGym 数据集上取得了最先进的结果。

    Apr, 2024

  • 基于语义 - 结构注意力增强的图卷积网络的节点分类

    通过引入语义 - 结构注意力增强图卷积网络（SSA-GCN），本研究在提取顶点分类性能方面不仅对图结构进行建模，还从无监督特征提取的角度提取通用特征，通过交叉注意力机制整合这些特征，以增强图卷积网络的泛化能力。在 Cora 和 CiteSeer 数据集上的实验证明了我们提出的方法所取得的性能提升，而且在隐私设置下表现出优异的准确性，使其成为图数据分析的坚实有效解决方案。

    Mar, 2024

  • 如何寻找你友好的社区：自监督图注意力设计

    本文提出了一种基于自监督任务的改进图注意力模型 SuperGAT，用于学习在有噪声图中更具有区分性的表达。研究发现，同质性和平均度是影响注意力形式和自监督任务有效性的两个图特征，并提供了在这两个情况下使用的注意力设计指南。在 17 个真实世界数据集上的实验结果表明，SuperGAT 的表现优于基线模型。

    Apr, 2022