利用全局注意力表示图神经网络的长距离上下文

Jan, 2022

利用全局注意力表示图神经网络的长距离上下文

Representing Long-Range Context for Graph Neural Networks with Global Attention

Zhanghao Wu, Paras Jain, Matthew A. Wright, Azalia Mirhoseini, Joseph E. Gonzalez...

TL;DR本篇论文提出了一种名为 GraphTrans 的算法，它将 Transformer 自注意力模块和标准的 GNN 模块相结合，并应用置换不变性的 Transformer 模块，从而解决了当前方法在表示长程依赖关系方面的不足。该算法在多个图分类任务上表现出色，说明纯粹的基于学习的方法可能适用于在图上学习高水平、长程的关系。

Abstract

graph neural networks are powerful architectures for structured datasets. However, current methods struggle to represent long-range dependencies. Scaling the depth or width of GNNs is insufficient to broaden receptive fields as larger GNNs encounter optimization instabilities such as v

graph neural networks transformer-based self-attention long-range relationships permutation-invariant transformer module graph classification

发现论文，激发创造

大规模图的图转换器

本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了 LargeGT 框架，并取得了 3 倍的加速和 16.8％的性能提升。

Dec, 2023

循环线性变换

通过引入循环替代方案以解决 transformer 自注意机制中的两个局限，本文提出了一种能够以较低成本进行推理并有效利用长程依赖的 transformer 自注意机制替代方法，在强化学习问题中实现了性能的提升。

Oct, 2023

动态图消息传递网络用于视觉识别

本论文提出了一种动态图消息传递网络，用于进行长程依赖性建模，以用于图像识别。该网络采用自适应抽样节点的方法，在传递信息时动态地预测节点相关过滤器权重和关联矩阵，以实现对自我注意机制的设计。研究结果表明，基于该模型的 Transformer 骨干网络在图像分类和物体检测等四种不同任务上，相对于现有的最先进技术，能够显著提升性能，同时性能优于完全连接的图并使用更少的浮点运算和参数。

Sep, 2022

图注意力网络实现的对比文档表征学习

本文提出使用图注意力网络在可用的预训练 Transformer 模型之上来学习文档嵌入，并基于该模型设计简单的对比学习策略，在大量无标签语料库上预训练模型。经验证明，我们的方法在文档分类和文档检索任务中是有效的。

Oct, 2021

大型图形表示中的 Transformer 简化与授权

本文旨在提出一个简化的图结构 Transformers 算法架构 (SGFormer)，该架构基于一个简单的 attention 模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

Jun, 2023

自注意力增强的图卷积网络：结构学习和节点嵌入

本研究提出了一种名为 GCN-SA 的新型图学习框架，它具有出色的节点级表示学习的泛化能力，并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉，从而使其能够在具有不同程度同质性的图上进行表示学习。

Mar, 2024

多视角三维重建的长程分组变换器

基于 Transformer 的多视角三维重建算法中，引入长距离分组注意力机制（LGA）以处理来自不同视角的复杂图像令牌，从而提高模型学习效果，并通过进阶上采样解码器实现相对高分辨率的体素生成，实验结果验证了该方法在多视角重建中达到了 SOTA 准确性。

Aug, 2023

全局自注意力作为图卷积替代方案

该论文提出了一种名为 Edge-augmented Graph Transformer (EGT) 的框架来处理任意形式的结构数据，其中使用全局自我关注作为聚合机制，并通过边缘通道来演化结构信息，从而在图结构数据的学习任务中超越了卷积 / 消息传递图神经网络，并在 OGB-LSC PCQM4Mv2 数据集上实现了量子化学回归任务的最新性能。

Aug, 2021

局部到全局的视觉 Transformer 自注意力

本研究提出了多通路结构的 Transformer 模型，实现局部到全局的多粒度特征推理，相较于现有的分层设计模型，在增加了极小的计算量的同时，在图像分类和语义分割任务上取得了显著的提高。

Jul, 2021

具有正则化注意力分数的更强图转换器

通过引入一种新颖的 “边缘正则化技术”，我们解决了图神经网络的内存消耗问题，并改善了 Transformer 架构对图数据的处理能力。在无位置编码的情况下，通过边缘正则化技术能够稳定提升 Graph Transformer 模型的性能。

Dec, 2023