该研究提出了一种 Retinex-based 阴影模型和 ShadowFormer 转换器网络，通过多尺度通道的注意机制和 Shadow-Interaction Module 中的 Shadow-Interaction Attention 对阴影和非阴影区域之间的全局联系进行建模。经验证，该方法在三个常用的公共数据集中实现了最先进的性能。

Feb, 2023

提出了一种基于 Transformer 的体系结构 ShaDocFormer，通过整合传统方法和深度学习技术解决了文档阴影消除问题，通过阴影 - 注意阈值检测器（STD）和级联融合细化器（CFR）两个组件，能够精确检测和捕捉阴影和照明的变化，以实现有效的阴影消除。大量实验证明，ShaDocFormer 在定性和定量测量方面优于目前的最先进方法。

Sep, 2023

通过 Fast Fourier Transformer 引入一个无需遮罩的 Shadow Removal and Refinement 网络 (ShadowRefiner)，以实现对真实世界图像中的阴影进行有效去除并保留细节和产生具有视觉吸引力的结果。

Apr, 2024

基于 Vision Transformer 架构和 Patch 掩蔽技术的图像异常检测方法，将输入图像分成多个分辨率的 Patch，在忽略异常信息的同时对周围数据进行重建，相较传统方法性能更好，MVTec 和 head CT 等数据集上实现了良好的结果。

Oct, 2022

提供一种新的架构 Mask2Former，该架构通过应用掩蔽注意力机制提取局部特征来解决多种类型的图像分割任务，包括全景分割、实体分割和语义分割，并且优于当前最佳的专门任务架构。

Dec, 2021

基于自监督表征学习策略的遮蔽时间序列建模引起了人们的广泛关注。我们提出使用简单的补丁重构任务和独立嵌入每个补丁的简单补丁级 MLP。此外，我们引入互补的对比学习方法以高效地捕捉相邻时间序列信息。与最先进的基于 Transformer 的模型相比，我们的方法在时间序列预测和分类性能上有所提高，同时在参数数量和训练 / 推理时间上更加高效。

Dec, 2023

本文提出了 SeMask 框架，将语义信息嵌入预训练分层 Transformer 模块的编码器中以提高模型性能，并使用轻量级语义解码器进行训练。实验结果表明，嵌入语义先验可以显著提高模型效果，并且与 Swin Transformer 和 Mix Transformer 等模型相结合，达到了 58.25％的 mIoU 表现。

Dec, 2021

本文介绍了一种基于掩模驱动 Transformer 的方法，通过使用噪声原始掩模进行训练和获取更一致的优化目标来提高 Mask2Former 的掩模注意力在图像分割中的表现，实验结果表明，该方法可显著提升实例分割、全景分割和语义分割的精度，并且训练速度更快，不会在推断阶段引入额外的计算。

Mar, 2023

本文提出了一种基于记忆支持的 Transformer (MS-Former) 框架，通过双向注意力块和针对弱监督变化检测的补丁级监督方案 (PSS)，从补丁级标注中捕捉到与变化和未变区域相关的语义变化，以获取更好的变化结果。实验结果表明我们的方法在变化检测任务中的有效性。

Nov, 2023

本篇论文尝试解决计算机视觉中 transformers 架构应用在视频数据时遇到的问题，通过引入可学习的混合函数 PatchBlender，使得 transformers 成功编码视频数据的时间组成部分并提升了基础模型性能。

Nov, 2022