提出了一种用于去除阴影的基于 Transformer 的框架，称为 ShadowMaskFormer，通过引入阴影信息和改进的 patch embedding 来提高模型在获取阴影区域知识方面的效果。在 ISTD、ISTD + 和 SRD 基准数据集上的实验证明了该方法相对于现有方法在使用更少模型参数的情况下的有效性。

Apr, 2024

提出了一种基于 Transformer 的医学图像分割方法 ——MISSFormer，通过改良的 Transformer 块和上下文桥，结合 CNN 和 Transformer 的优点，在医学图像分割任务上获得了优秀的性能，代码已开源。

Sep, 2021

在点云学习领域中，由于 Transformer 模型生成的注意力矩阵具有输入规模的平方复杂度，因此本文提出了一种采用自适应方式学习较小基础上的基础并通过它们的带权求和来计算注意力矩阵的方法 (PAT)，并借助于轻量级的多尺度注意力块（MST）来实现对不同尺度特征的关注，最终构建了一个名为 PatchFormer 的神经网络，为点云学习提供了可比较的准确性，并且比以前的点 Transformers 快 9.2 倍。

Oct, 2021

使用 transformers 建立了一种稳健的跟踪框架 MixFormer，采用混合注意力模块（MAM）实现了特征提取和目标信息的同步建模，同时在 LaSOT、TrackingNet、VOT2020、GOT-10k 和 UAV123 等五个基准测试数据集上取得了最新的最高成功率和 EAO 评分。

Mar, 2022

本论文提出了一种基于 PTSEFormer 的对象检测方法，该方法引入了上下文框架、时间信息、空间信息来提高模型性能，其通过注意力机制与视觉特征的集成实现时间信息的引入，同时通过 Spatial Transition Awareness Model 实现了上下文特征之间的空间信息的集成，最终在 ImageNet VID 数据集上取得了 88.1% mAP 的表现。

Sep, 2022

本文提出了一种新的渐进式补丁学习方法来提高弱监督语义分割中的局部细节提取，进一步将特征破坏和补丁学习扩展到多级粒度，同时与多阶段优化策略相结合来提供模型对不同程度的特征提取能力。此方法超越了大多数现有的弱监督语义分割方法，在 PASCAL VOC 2012 数据集上取得了出色的表现。

Sep, 2022

提出了一种多尺度补丁选择 (MSPS) 方法，以改善现有基于 Vision Transformers 的模型的多尺度能力。通过在多尺度 Vision Transformer 上的不同阶段选择不同尺度的显著补丁，并引入类令牌传递 (CTT) 和多尺度交叉注意力 (MSCA)，以模拟选定的多尺度补丁之间的交叉尺度相互作用并完全反映在模型决策中，从而提高了特征分层的丰富物体表征并在多个广泛使用的细粒度视觉识别基准上优于 CNN-/ViT- 基模型的 M2Former。

Aug, 2023

本文介绍了一种基于掩模驱动 Transformer 的方法，通过使用噪声原始掩模进行训练和获取更一致的优化目标来提高 Mask2Former 的掩模注意力在图像分割中的表现，实验结果表明，该方法可显著提升实例分割、全景分割和语义分割的精度，并且训练速度更快，不会在推断阶段引入额外的计算。

Mar, 2023

SPFormer 是一种新颖的视觉变换器，增强了超像素表示，通过对图像内容进行自适应划分，有效捕捉了复杂的细节，并在各种基准测试中表现出优异性能。其独特的可解释性结构提供了对模型内部过程的洞察，显著提高了 SPFormer 的稳健性。

Jan, 2024

支持信息和查询中心 FSS 模型的对抗挖掘变压器 (AMFormer) 提供了准确的查询图像分割，即使只有粗略的支持指导或弱支持标签，通过优化产生更接近于地面真实的精确掩码来愚弄详细挖掘变压器

Nov, 2023