该论文提出了一种基于 Transformer 的弱监督人群计数方法 TransCrowd，通过自注意力机制实现了语义人群信息的高效提取，在五个基准数据集上获得了比弱监督 CNN 方法更好的性能和与一些流行的全监督计数方法相当的计数性能。

Apr, 2021

本文研究了全局上下文对于人群计数的作用，使用 transformer 和 token-attention module 提取了包含全局信息的特征，并在多个数据集上实验，最终达到了最佳效果。

May, 2021

本文提出了一种基于 CNN 与 transformer 结合的、名为 CCTrans 的简单方法，使用金字塔视觉 transformer 骨干模型捕捉全局人群信息、金字塔特征聚合模型组合低级和高级特征以及多尺度膨胀卷积预测密度图，我们的方法在多个人群计数基准测试中实现了新的最先进结果，在弱监督和全监督下均有良好表现，并且我们目前在 NWPU-Crowd 排名第一。

Sep, 2021

本论文提出了一种动态图消息传递网络，用于进行长程依赖性建模，以用于图像识别。该网络采用自适应抽样节点的方法，在传递信息时动态地预测节点相关过滤器权重和关联矩阵，以实现对自我注意机制的设计。研究结果表明，基于该模型的 Transformer 骨干网络在图像分类和物体检测等四种不同任务上，相对于现有的最先进技术，能够显著提升性能，同时性能优于完全连接的图并使用更少的浮点运算和参数。

Sep, 2022

本文介绍了一种基于 Transformer 的 GNN 模型，叫做 UGformer，用于学习图表示。UGformer 有两个变体，第一个变体利用 Transformer 对每个输入节点的一组采样邻居进行编码，第二个变体利用 Transformer 对所有输入节点进行编码。实验结果表明，第一个变体在归纳和非监督转导设置下实现了基准数据集上的最新最准确统计，第二个变体在归纳文本分类中获得了最高准确率。

Sep, 2019

用基于图滤波的自注意力机制 (GFSA) 在 Transformer 模型中解决了过度平滑问题，提高了在计算机视觉、自然语言处理、图形模式分类、语音识别和代码分类等各领域的性能。

Dec, 2023

用个性化 PageRank（PPR）对每个节点进行令牌化，并在此令牌列表上应用标准的多头自注意力机制，以计算其节点表示。借助 PPR 令牌化方法，使得以分批加载节点的令牌列表进行图转换器的小批量训练成为可能。此外，通过在结构和内容的基础上创建多种类型的虚拟连接，能够将本地和全局上下文、长距离交互以及异源信息编码到每个节点的令牌列表中，从而形成我们的虚拟连接排序图转换器（VCR-Graphormer）模型。

Mar, 2024

本文提出了 Gradformer，一种创新地将 GT 与内在归纳偏差集成的方法，通过将指数衰减掩码应用于注意力矩阵来实现。通过这种设计，Gradformer 保留了从远程节点捕获信息的能力，同时专注于图的局部细节。广泛的实验表明，Gradformer 在各种图分类和回归任务中始终优于基线模型，同时也是深度 GT 模型训练的有效方法。

Apr, 2024

提出了一种基于 ego-graphs 的 Gophormer 模型，将 transformer 应用于节点分类任务，通过邻域采样缓解了规模问题，并采用 proximity-enhanced attention 机制捕捉节点间的结构偏差，通过一致性规则和多样本推理策略稳定训练和测试。Gophormer 在六个基准数据集上的实验表明了其超越了现有的图转换器和热门的 GNN，并揭示了图转换器的未来发展前景。

Oct, 2021

该论文提出了一种名为 Multifaceted Attention Network 的深度学习模型，通过引入局部关注、全局关注和实例关注机制来对人群计数中存在的局部空间变化进行编码。实验结果表明该模型在四种不同数据集下表现出色。

Mar, 2022