MetaSeg:基于MetaFormer的全球上下文感知网络用于高效语义分割
本文提出FasterSeg模型,通过神经架构搜索技术在新型多分辨率支路搜索空间上发现了性能卓越、速度更快的语义分割网络,并提出了一种解决低准确性、低延迟困境的方法,同时实现了教师-学生蒸馏机制,提高了学生网络的准确性。实验证明了FasterSeg的竞争力。
Dec, 2019
本文提出了一种新颖的实时语义分割神经网络,其中编码器既编码也生成解码器的参数(权重),并且为了实现最大的适应性,每个解码器块的权重都在空间上有所变化。我们设计了一种新型的超网络,在其中,用于绘制高级上下文特征的嵌套U-Net、多头权重生成模块,该模块在解码器使用权重之前立即生成解码器每个块的权重,以实现高效的内存利用,以及由新颖的动态面向补丁的卷积组成的主要网络。尽管使用了较不常见的块,但我们的架构实现了实时性能,在运行时间与准确性的权衡方面,在流行的语义分割基准测试上(PASCAL VOC 2012, Cityscapes和CamVid)的表现都超过了最先进的结果。
Dec, 2020
本文提出了一种新的语义分割方法,使用纯Transformer编码图像为序列的方式,通过全局上下文模型和一个简单的解码器生成强大的分割模型,称为SETR,取得多项最新的测试结果。
Dec, 2020
本文提出了Segmenter,一种用于语义分割的Transformer模型,利用一种点刀线性解码器或一个mask transformer解码器将图像分割为不同的类别,通过对模型参数的分析,表明Segmenter在ADE20K和Pascal Context数据集上具有良好的性能。
May, 2021
本文提出了SeMask框架,将语义信息嵌入预训练分层Transformer模块的编码器中以提高模型性能,并使用轻量级语义解码器进行训练。实验结果表明,嵌入语义先验可以显著提高模型效果,并且与Swin Transformer和Mix Transformer等模型相结合,达到了58.25%的mIoU表现。
Dec, 2021
本文提出了一种无参数化的补丁旋转操作来重新组织像素,基于该操作,设计了一种新的语义分割网络PRSeg,其中包括一个预先设计好的骨干网络和一个轻量级的Patch Rotate MLP解码器,包含多个动态Patch Rotate块(DPR-Blocks),通过在每个DPR-Block中执行全连接层来实现空间信息的交换,可显著提高像素之间的联系。
May, 2023
使用Vision Transformers进行语义分割的研究,提出了SegViTv2,通过全局注意力机制和轻量级Attention-to-Mask模块构建出性能更高的解码器、通过Shrunk++结构降低编码器的计算成本,同时在持续学习的环境下实现近乎零遗忘。实验结果表明,SegViT优于当前流行的语义分割方法。
Jun, 2023
通过使用元学习技术,本论文提出了一种基于CAM-Net的新型语义分割方法MetaSeg,该方法通过生成像素权重来抑制带有错误伪标签的噪声区域,并利用图像内容的增强特征提供简单可靠的优化指导,从而实现了与完全监督模型接近的出色性能,为全方位语义分割开辟了新的有前途的途径。
Jan, 2024
本研究解决了MetaFormer在语义分割任务上的应用不足的问题,通过设计一个新颖的MetaSeg网络,充分利用MetaFormer架构从主干到解码器的能力。研究表明,MetaSeg在多个语义分割基准上实现了比以往更高的效率与准确性,表明该方法在提取全局上下文信息和保持计算效率方面具有显著优势。
Aug, 2024
本研究解决了在仅有少量标注样本下进行少样本语义分割时的局部语义特征丢失和计算复杂度高的问题。提出了一种基于变换器架构的新框架,利用空间变换解码器和上下文掩码生成模块来增强支持图像与查询图像之间的关系理解,同时通过多尺度解码器优化分割掩码。研究表明,该方法在分析PASCAL-5^i和COCO-20^i基准数据集时显示出卓越的性能和效率平衡。
Sep, 2024