本文提出了Segmenter，一种用于语义分割的Transformer模型，利用一种点刀线性解码器或一个mask transformer解码器将图像分割为不同的类别，通过对模型参数的分析，表明Segmenter在ADE20K和Pascal Context数据集上具有良好的性能。

May, 2021

SegFormer是一种简单、高效而强大的语义分割框架，它将Transformers和轻量级的多层感知机解码器统一在一起。我们展示了这种轻量简单设计对提高Transformers语义分割效率的关键所在，并为SegFormer构建了一系列模型，其中最好的模型-SegFormer-B5，在Cityscapes验证集上达到了84.0％的mIoU，显示了出色的零-shot鲁棒性。

May, 2021

研究了在只提供极少量的图像支持集的情况下，如何用预训练好的编码器和解码器结合分类器元学习来执行语义分割。

Aug, 2021

通过使用类ResNet的主干和小型多尺度头部的简单编码器-解码器架构，扩大有效接受域， 实现了与HRNet等复杂语义分割架构相当甚至更好的性能,提供了简单有效的基准模型供从业者开发高效的语义分割模型。

Jun, 2022

本文讲述了使用Vision Transformers来进行语义分割的能力，提出了SegVit模型，并介绍了Attention-to-Mask（ATM）模块和基于查询的下采样（QD）和上采样（QU）技术，用于构建Shrunk结构来减小计算量。实验证明，使用ATM模块的SegVit模型在ADE20K数据集上优于使用常规ViT骨干网络的SegVit模型，并在COCO-Stuff-10K和PASCAL-Context数据集上达到了新的排名最佳性能。

Oct, 2022

本文介绍了一种轻量级的语义分割架构，名为自适应频率变换器。它采用并行架构，使用原型表示作为可学习的局部描述来替代解码器，并在高分辨率特征上保留了丰富的图像语义。我们还使用异构运算符（CNN 和 Vision Transformer）进行像素嵌入和原型表示，以进一步节省计算成本。

Jan, 2023

使用Vision Transformers进行语义分割的研究，提出了SegViTv2，通过全局注意力机制和轻量级Attention-to-Mask模块构建出性能更高的解码器、通过Shrunk++结构降低编码器的计算成本，同时在持续学习的环境下实现近乎零遗忘。实验结果表明，SegViT优于当前流行的语义分割方法。

Jun, 2023

本研究解决了在仅有少量标注样本下进行少样本语义分割时的局部语义特征丢失和计算复杂度高的问题。提出了一种基于变换器架构的新框架，利用空间变换解码器和上下文掩码生成模块来增强支持图像与查询图像之间的关系理解，同时通过多尺度解码器优化分割掩码。研究表明，该方法在分析PASCAL-5^i和COCO-20^i基准数据集时显示出卓越的性能和效率平衡。

Sep, 2024

本研究解决了半监督语义分割中对过时ResNet编码器的依赖，提出将基线从ResNet编码器切换到更强大的ViT编码器，以提高分割性能。研究表明，更新编码器（即使使用更少的参数）能带来显著的性能提升，同时推出的UniMatch V2在训练成本上减轻并提供更好的结果，呼吁关注更具挑战性的基准数据集。

Oct, 2024

本研究解决了基于Transformer的语义分割方法中解码器缺乏理论基础的问题。提出的DEPICT方法将语义分割与压缩进行了结合，通过自注意力和交叉注意力来构建理想的主空间，有效提取图像特征。实验证明，DEPICT在性能上超越了现有方法，且更加轻量和鲁棒。

Nov, 2024