May, 2021

SegFormer：使用 Transformer 简单高效的语义分割设计

PDF
TL;DRSegFormer 是一种简单、高效而强大的语义分割框架，它将 Transformers 和轻量级的多层感知机解码器统一在一起。我们展示了这种轻量简单设计对提高 Transformers 语义分割效率的关键所在，并为 SegFormer 构建了一系列模型，其中最好的模型 - SegFormer-B5，在 Cityscapes 验证集上达到了 84.0％的 mIoU，显示了出色的零 - shot 鲁棒性。
segformersemantic segmentationtransformersmlp decodersefficiency
发现论文，激发创造
  • SegFormer3D: 3D 医学图像分割的高效 Transformer

    SegFormer3D 是一种记忆高效的分层 Transformer，在 3D 医学图像分割中拥有比当前最先进模型更少的参数和更低的 GFLOPS，并在 Synapse、BRaTs 和 ACDC 等广泛使用的数据集上取得竞争性结果。

    Apr, 2024

  • U-MixFormer：混合注意力的类 UNet Transformer 进行高效语义分割

    我们提出了一种新的变换器解码器 U-MixFormer，基于 U-Net 结构设计的，用于高效的语义分割。通过在编码器和解码器阶段之间利用侧连接作为特征查询，我们的方法与以前的变换器方法有所不同。此外，我们创新地混合来自各个编码器和解码器阶段的分层特征图，形成一个统一的键和值表示，从而产生我们独特的混合注意模块。大量实验证明，U-MixFormer 在各种配置上表现出色，并且在 ADE20K 上使用 MSCAN-T 编码器的 mIoU 比 SegFormer 和 FeedFormer 高出 3.3%。

    Dec, 2023

  • HiFormer: 使用 Transformer 实现的分层多尺度表示，用于医学图像分割

    本文提出了一种新的方法 HiFormer，它通过使用 Swin Transformer 模块和基于 CNN 的编码器设计了两种多尺度特征表示来有效地跨越 CNN 和 Transformer 进行医学图像分割。在编码器解码器结构的跳跃连接中，我们提出了 Double-Level Fusion（DLF）模块，以确保从两个上述表示中获得的全局和局部特征的细粒度融合。在各种医学图像分割数据集上的广泛实验表明，HiFormer 在计算复杂度、定量和定性结果方面优于其他基于 CNN、Transformer 和混合方法。

    Jul, 2022

  • SeqFormer: 序列 Transformer 用于视频实例分割

    本文介绍了 SeqFormer，一种基于视频实例分割的模型，通过注意力机制捕捉视频帧之间的关系，定位每帧的实例并聚合时间信息，从而实现自然的实例跟踪并预测动态遮罩序列，结合 Swin Transformer 可获得更高的 AP，是视频实例分割领域的强基线模型。

    Dec, 2021

  • MISSFormer：一种有效的医学图像分割变压器

    提出了一种基于 Transformer 的医学图像分割方法 ——MISSFormer，通过改良的 Transformer 块和上下文桥，结合 CNN 和 Transformer 的优点，在医学图像分割任务上获得了优秀的性能，代码已开源。

    Sep, 2021

  • Panoptic SegFormer: 使用 Transformer 深入探究全景分割

    Panoptic SegFormer 是一种基于 transformers 且具有高效深度监控遮罩解码器、解除查询集耦合策略及改进后处理方法等三个创新性组件的全面框架，是目前在 COCO test-dev 上实现 56.2％PQ 准确率且具备更强的零 - shot 鲁棒性的最先进的 Panoptic 分割方法之一。

    Sep, 2021

  • OneFormer3D：统一点云分割的一种 Transformer

    本文提出了一种统一、简单、有效的模型 OneFormer3D，利用可学习的卷积核同时处理实例分割和语义分割，通过输入统一的实例和语义查询来训练，并在 ScanNet 测试排行榜中取得了第一名和新的最佳性能，同时在 ScanNet、ScanNet200 和 S3DIS 数据集上展示了最领先的语义、实例和全景分割结果。

    Nov, 2023

  • SeaFormer: 移动语义分割的压缩增强轴向 Transformer

    本文介绍了一种新的方法 Squeeze-enhanced Axial TransFormer（SeaFormer），用于移动语义分割，并通过在 ADE20K 和 Cityscapes 数据集上达到了最佳分割准确性和延迟之间的权衡，在 ARM 基础的移动设备上打败了移动友好的竞争对手和基于 Transformer 的对手，同时具有更好的性能和更低的延迟，并可进一步用于图像分类问题，展示作为一个通用移动友好的主干的潜力。

    Jan, 2023

  • AVSegFormer: 基于 Transformer 的音视频分割

    本文提出了一种基于 transformer 架构的音视频分割（AVS）框架 AVSegFormer，该框架引入了音频查询和可学习查询，利用注意力机制实现选择性关注有关的视觉特征，并使用中间 mask 损失增强了解码器的监督，有效解决了音视频分割任务中的重要挑战，实验结果表明，AVSegFormer 在 AVS 基准测试中取得了最佳性能。

    Jul, 2023

  • HGFormer: 面向领域通用的分层分组变压器用于语义分割

    本研究使用视觉 Transformer 的自注意视觉分组属性，提出了一种新型分层分组变压器（HGFormer），在不同尺度上找到部聚合模块并组合像素以形成对象级别的语义分割结果，比以像素分组的方法和以平坦分组变压器的方法具有显著更强的网络鲁棒性。

    May, 2023