可扩展图学习的分层 Transformer

May, 2023

Hierarchical Transformer for Scalable Graph Learning

Wenhao Zhu, Tianyu Wen, Guojie Song, Xiaojun Ma, Liang Wang

TL;DR本文介绍了一种名为 HSGT 的层级可伸缩图变换器，通过利用层次结构和基于采样的训练方法，高效地更新和存储多尺度信息，并使用 Transformer 块有效地捕获和聚合多级信息以实现节点表征学习任务在大规模图上的高性能表现。

Abstract

graph transformer is gaining increasing attention in the field of machine learning and has demonstrated state-of-the-art performance on benchmarks for graph representation learning. However, as current implementa

graph transformer machine learning graph representation learning hierarchical scalable graph transformer large-scale graphs

发现论文，激发创造

大规模图的图转换器

本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了 LargeGT 框架，并取得了 3 倍的加速和 16.8％的性能提升。

Dec, 2023

异质图变换器

本文介绍了一种用于建模 Web 规模异构图的异构图转换器架构（HGT），通过设计基于节点类型和边类型的参数来实现异构性，并引入相对时间编码技术和异构迷你批图采样算法来处理动态异构图数据，实验表明，所提出的 HGT 模型在各种下游任务中始终优于所有最先进的 HNN 基线 9％至 21％。

Mar, 2020

大型图形表示中的 Transformer 简化与授权

本文旨在提出一个简化的图结构 Transformers 算法架构 (SGFormer)，该架构基于一个简单的 attention 模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

Jun, 2023

超图变换器用于半监督分类

通过全球节点和超边之间的全球关联以及捕捉节点和超边之间的局部连接性，提出了一种新颖的超图学习框架，称为 HyperGraph Transformer（HyperGT），该框架利用基于 Transformer 的神经网络结构来有效地处理超图结构化数据，实现了全面的超图表示学习，并在超图节点分类任务中取得了出色的性能，超过了现有方法，建立了新的基准水平。

Dec, 2023

自适应节点采样的层次图形 Transformer

本文提出针对当前图表示学习中的问题，通过将节点采样策略的优化进行对抗式强化学习，以及引入一种新的分层注意力方案，来提高图卷积网络（Graph Transformer）的性能，实验结果显示了新方法的优越性。

Oct, 2022

拓扑指导的超图变换网络：揭示结构洞察以改进表示

提出了一种拓扑引导的超图变换网络，通过保留结构本质学习图中的高阶关系，设计了简洁而有效的结构和空间编码模块将节点的拓扑和空间信息融入其表示，并提出了一种结构感知的自注意机制，从语义和结构角度发现重要节点和超边。实验证明，所提模型在节点分类任务上的性能始终优于现有方法。

Oct, 2023

分层本地 - 全局变压器用于时间句子定位

本文介绍了一种新的 Hierarchical Local-Global Transformer 模型来解决视频和文本之间的 fine-grained 语义对齐问题，并将其应用于 temporal sentence grounding 任务，通过跨模态平行变压器解码器将其编码为最终的基础。

Aug, 2022

SGHormer：一种由脉冲驱动的节能图转换器

基于脉冲神经元的图形转换器（SGHormer）通过稀疏和二值化脉冲将全精度嵌入转化为稀疏和二值化脉冲，以降低内存和计算成本，并在 SGHormer 中的脉冲图自注意力和脉冲纠正块中明确捕获全局结构信息和恢复脉冲嵌入的表达能力。实验证明，SGHormer 在极低的计算能耗下实现了可比较的性能，从而在低能量图形转换领域取得了显著进展。

Mar, 2024

一种可扩展和有效的图变换器替代方案

图神经网络（GNN）在图表示学习方面表现出色，但由于其有限的表达能力，它们在捕捉长程依赖性方面面临挑战。为了解决这个问题，引入了图转换器（GTs），利用自注意机制来有效地建模成对的节点关系。尽管具有这些优势，GTs 在图中节点数目的平方复杂度方面存在问题，限制了其在大图上的应用。在这项研究中，我们提出了一种可扩展且有效的替代 GTs 的方法，称为图增强的上下文运算符（GECO），它利用邻域传播和全局卷积，在几乎线性时间内有效地捕捉局部和全局依赖性。我们在合成数据集上的研究结果表明，相对于优化的注意力模型，GECO 在具有 2M 个节点的图上实现了 169 倍的加速。对各种基准测试的进一步评估显示，GECO 在传统的 GTs 面临内存和时间限制的大图上具有可扩展性。值得注意的是，GECO 始终实现了与基准模型相当或更好的质量，提高了最先进技术的性能高达 4.5％，为大规模图学习提供了可扩展且有效的解决方案。

Jun, 2024

AnchorGT：用于可扩展图变换器的高效灵活的注意力架构

通过全局感受野和几乎线性的复杂度，AnchorGT 提出了一种新颖的注意力结构，用于改进各种 GT 模型的可扩展性，实现更高的效果和更高的内存效率。

May, 2024