Jan, 2022

金字塔融合变压器用于语义分割

PDF
TL;DR本研究提出了一种基于 Transformer 的 Feature Pyramid Fusion Transformer (PFT) 方法，结合学习到的查询和 Feature Pyramid 中的每个空间特征进行交叉注意力和交叉尺度的互补信息交换，提高了面向掩码的语义分割性能，并在三个广泛使用的语义分割数据集上达到了与现有最佳方法相比的最先进的性能。
semantic segmentationmask-level classificationtransformer decoderfeature pyramidmulti-scale inference
发现论文，激发创造
  • MP-Former：基于遮罩引导的 Transformer 图像分割算法

    本文介绍了一种基于掩模驱动 Transformer 的方法，通过使用噪声原始掩模进行训练和获取更一致的优化目标来提高 Mask2Former 的掩模注意力在图像分割中的表现，实验结果表明，该方法可显著提升实例分割、全景分割和语义分割的精度，并且训练速度更快，不会在推断阶段引入额外的计算。

    Mar, 2023

  • 基于原型的高效 MaskFormer 图像分割方法

    最近基于 Transformer 的架构在图像分割领域取得了令人印象深刻的成果。为了填补传统架构在计算资源上的限制，本文提出了一种高效的基于原型的 Transformer 架构 (PEM)，它利用视觉特征的冗余性来限制计算并提高效率，同时引入了高效的多尺度特征金字塔网络，能够高效地提取具有高语义内容的特征。在两个不同的数据集上对 PEM 架构进行了测试和评估，表现出色，优于特定任务的架构，并且与计算代价较高的基准模型相媲美甚至更优。

    Feb, 2024

  • SeMask: 用于语义分割的语义掩蔽变形器

    本文提出了 SeMask 框架，将语义信息嵌入预训练分层 Transformer 模块的编码器中以提高模型性能，并使用轻量级语义解码器进行训练。实验结果表明，嵌入语义先验可以显著提高模型效果，并且与 Swin Transformer 和 Mix Transformer 等模型相结合，达到了 58.25％的 mIoU 表现。

    Dec, 2021

  • 掩模关注掩模变换器用于通用图像分割

    提供一种新的架构 Mask2Former，该架构通过应用掩蔽注意力机制提取局部特征来解决多种类型的图像分割任务，包括全景分割、实体分割和语义分割，并且优于当前最佳的专门任务架构。

    Dec, 2021

  • CFPFormer：分割和检测的特征金字塔式 Transformer 解码器

    CFPFormer 是一种新的解码器块，它集成了特征金字塔和变压器，通过利用路径嵌入、跨层特征拼接和高斯注意机制，增强了特征提取能力，并促进了各种任务的泛化。在医学图像分割数据集和物体检测基准测试上，我们的模型取得了优越的性能，特别是在检测小物体方面表现出色。

    Apr, 2024

  • SegFormer：使用 Transformer 简单高效的语义分割设计

    SegFormer 是一种简单、高效而强大的语义分割框架，它将 Transformers 和轻量级的多层感知机解码器统一在一起。我们展示了这种轻量简单设计对提高 Transformers 语义分割效率的关键所在，并为 SegFormer 构建了一系列模型，其中最好的模型 - SegFormer-B5，在 Cityscapes 验证集上达到了 84.0％的 mIoU，显示了出色的零 - shot 鲁棒性。

    May, 2021

  • OneFormer3D：统一点云分割的一种 Transformer

    本文提出了一种统一、简单、有效的模型 OneFormer3D，利用可学习的卷积核同时处理实例分割和语义分割，通过输入统一的实例和语义查询来训练，并在 ScanNet 测试排行榜中取得了第一名和新的最佳性能，同时在 ScanNet、ScanNet200 和 S3DIS 数据集上展示了最领先的语义、实例和全景分割结果。

    Nov, 2023

  • 基于线性变换的轻量级无头信息语义分割

    本文介绍了一种轻量级的语义分割架构，名为自适应频率变换器。它采用并行架构，使用原型表示作为可学习的局部描述来替代解码器，并在高分辨率特征上保留了丰富的图像语义。我们还使用异构运算符（CNN 和 Vision Transformer）进行像素嵌入和原型表示，以进一步节省计算成本。

    Jan, 2023

  • U-MixFormer：混合注意力的类 UNet Transformer 进行高效语义分割

    我们提出了一种新的变换器解码器 U-MixFormer，基于 U-Net 结构设计的，用于高效的语义分割。通过在编码器和解码器阶段之间利用侧连接作为特征查询，我们的方法与以前的变换器方法有所不同。此外，我们创新地混合来自各个编码器和解码器阶段的分层特征图，形成一个统一的键和值表示，从而产生我们独特的混合注意模块。大量实验证明，U-MixFormer 在各种配置上表现出色，并且在 ADE20K 上使用 MSCAN-T 编码器的 mIoU 比 SegFormer 和 FeedFormer 高出 3.3%。

    Dec, 2023

  • P2AT：金字塔池化轴向变换器实时语义分割

    我们提出了一种名为 Pyramid Pooling Axial Transformer（P2AT）的实时语义分割架构，它利用 Transformer 模型和多级特征聚合方案来提高语义分割性能，并在三个具有挑战性的场景理解数据集上取得了表现优异的结果。

    Oct, 2023