AAAIJan, 2023

基于线性变换的轻量级无头信息语义分割

PDF
TL;DR本文介绍了一种轻量级的语义分割架构，名为自适应频率变换器。它采用并行架构，使用原型表示作为可学习的局部描述来替代解码器，并在高分辨率特征上保留了丰富的图像语义。我们还使用异构运算符（CNN 和 Vision Transformer）进行像素嵌入和原型表示，以进一步节省计算成本。
semantic segmentationadaptive frequency transformerprototype representationsheterogeneous operatorspixel embedding
发现论文，激发创造
  • SegFormer：使用 Transformer 简单高效的语义分割设计

    SegFormer 是一种简单、高效而强大的语义分割框架，它将 Transformers 和轻量级的多层感知机解码器统一在一起。我们展示了这种轻量简单设计对提高 Transformers 语义分割效率的关键所在，并为 SegFormer 构建了一系列模型，其中最好的模型 - SegFormer-B5，在 Cityscapes 验证集上达到了 84.0％的 mIoU，显示了出色的零 - shot 鲁棒性。

    May, 2021

  • 金字塔融合变压器用于语义分割

    本研究提出了一种基于 Transformer 的 Feature Pyramid Fusion Transformer (PFT) 方法，结合学习到的查询和 Feature Pyramid 中的每个空间特征进行交叉注意力和交叉尺度的互补信息交换，提高了面向掩码的语义分割性能，并在三个广泛使用的语义分割数据集上达到了与现有最佳方法相比的最先进的性能。

    Jan, 2022

  • SegFormer3D: 3D 医学图像分割的高效 Transformer

    SegFormer3D 是一种记忆高效的分层 Transformer，在 3D 医学图像分割中拥有比当前最先进模型更少的参数和更低的 GFLOPS，并在 Synapse、BRaTs 和 ACDC 等广泛使用的数据集上取得竞争性结果。

    Apr, 2024

  • 从序列到序列的角度重新思考使用 Transformers 进行语义分割

    本文提出了一种新的语义分割方法，使用纯 Transformer 编码图像为序列的方式，通过全局上下文模型和一个简单的解码器生成强大的分割模型，称为 SETR，取得多项最新的测试结果。

    Dec, 2020

  • 简洁高性能的纯视觉变换语义分割

    通过对简单的 Vision Transformer（ViT）模型进行高性能的分割实验，本文提出了 PlainSeg 和 PlainSeg-Hier 两种简洁高效的模型，包括了最后一个特征图的 3x3 卷积和 Transformer 编码器或解码器，并结合了高分辨率特征和更大的学习率，实验证明这些模型在语义分割中具有高性能和高效率，是评估基础模型转移能力的有力工具。

    Oct, 2023

  • 语义分割的 Transformer 分割器

    本文提出了 Segmenter，一种用于语义分割的 Transformer 模型，利用一种点刀线性解码器或一个 mask transformer 解码器将图像分割为不同的类别，通过对模型参数的分析，表明 Segmenter 在 ADE20K 和 Pascal Context 数据集上具有良好的性能。

    May, 2021

  • ROIFormer：用于高效自监督单目深度估计的语义感知关注区 Transformer

    通过基于语义信息的几何启示本文提出了一种高效的本地自适应注意方法来增强几何意识的表示，使得其在 KITTI 数据集上建立了新的最前沿，证明了本方法在自监督单目深度估计任务上的有效性。

    Dec, 2022

  • 变压器辅助的语义通信

    通过使用 transformer 结构进行特征提取，以实现图像压缩和紧凑表示，从而优化语义通信的质量和带宽利用效率。

    May, 2024

  • 高效遥感分割的生成对抗变换器

    通过一个高效的 Generative Adversarial Transfomer (GATrans)，采用深度学习方法和全局变换网络（GTNet）来实现高精度语义分割，在保持极高效率的同时，通过多层特征提取和结构相似性损失函数优化，获得了 90.17% 的平均 F1 得分和 91.92% 的总体准确率。

    Oct, 2023

  • SegViTv2: 使用纯视觉 Transformer 探索高效持续语义分割

    使用 Vision Transformers 进行语义分割的研究，提出了 SegViTv2，通过全局注意力机制和轻量级 Attention-to-Mask 模块构建出性能更高的解码器、通过 Shrunk++ 结构降低编码器的计算成本，同时在持续学习的环境下实现近乎零遗忘。实验结果表明，SegViT 优于当前流行的语义分割方法。

    Jun, 2023