Nov, 2023

基于混合聚焦和全范围注意力的图变换器

PDF
TL;DR基于纯注意力机制的 FFGT 图形 Transformer 可以缓解学习全局相关性时丢失本地信息的问题，并通过将全融注意力与邻域注意力相结合来聚合全局和本地信息，从而提高了现有图形 Transformer 在各种开放数据集上的性能。
graph transformersself-attention mechanismlocal informationffgtcompound attention
发现论文，激发创造
  • 视觉 Transformer 中的局部 - 全局交互的焦点自注意力

    本文介绍了一种名为 Focal Transformer 的新型视觉 Transformer 模型，采用了一种称为 focal self-attention 的新机制，有效地解决上述算法在高分辨率视觉任务方面的困难之处，并在各项视觉任务的公共基准测试中创造了新的 SoTA。

    Jul, 2021

  • 大规模图的图转换器

    本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了 LargeGT 框架，并取得了 3 倍的加速和 16.8％的性能提升。

    Dec, 2023

  • SignGT: 基于有符号关注机制的图转换器用于图表示学习

    提出了一种基于签名注意力的图变换器（SignGT），用于自适应地从图中捕获各种频率信息，并通过引入邻域偏置以保留局部拓扑信息学习信息节点表示。

    Oct, 2023

  • 利用全局注意力表示图神经网络的长距离上下文

    本篇论文提出了一种名为 GraphTrans 的算法，它将 Transformer 自注意力模块和标准的 GNN 模块相结合，并应用置换不变性的 Transformer 模块，从而解决了当前方法在表示长程依赖关系方面的不足。该算法在多个图分类任务上表现出色，说明纯粹的基于学习的方法可能适用于在图上学习高水平、长程的关系。

    Jan, 2022

  • AnchorGT：用于可扩展图变换器的高效灵活的注意力架构

    通过全局感受野和几乎线性的复杂度，AnchorGT 提出了一种新颖的注意力结构，用于改进各种 GT 模型的可扩展性，实现更高的效果和更高的内存效率。

    May, 2024

  • 特征融合视觉 Transformer 用于细粒度视觉分类

    本文提出了一个基于 Transformer 的框架，通过聚合特征来处理细粒度视觉分类任务，其中引入了一种新的令牌选择模块（MAWS）来引导网络有效地选择具有判别性的令牌，从而实现了最先进的性能。

    Jul, 2021

  • 局部到全局的视觉 Transformer 自注意力

    本研究提出了多通路结构的 Transformer 模型，实现局部到全局的多粒度特征推理，相较于现有的分层设计模型，在增加了极小的计算量的同时，在图像分类和语义分割任务上取得了显著的提高。

    Jul, 2021

  • 全局自注意力作为图卷积替代方案

    该论文提出了一种名为 Edge-augmented Graph Transformer (EGT) 的框架来处理任意形式的结构数据，其中使用全局自我关注作为聚合机制，并通过边缘通道来演化结构信息，从而在图结构数据的学习任务中超越了卷积 / 消息传递图神经网络，并在 OGB-LSC PCQM4Mv2 数据集上实现了量子化学回归任务的最新性能。

    Aug, 2021

  • FViT：一种具有 Gabor 滤波器的聚焦视觉变换器

    利用 Gabor 滤波器和学习能力，结合视觉变换器模型，设计了一种有效的金字塔网络结构，称为 Focal Vision Transformers（FViTs），在各种视觉任务中展现出出色的性能。

    Feb, 2024

  • FedGT：具有可扩展图变换器的联邦节点分类

    提出了一种可扩展的 FedGraphTransformer（FedGT）方法，通过混合注意力机制解决了分布式图神经网络在局部子图更新中缺失链接的问题，以及子图异构性和数据隐私保护的问题。实验证明了 FedGT 的优越性。

    Jan, 2024