Feb, 2024

轻量级语义分割的多层特征逐级聚合解码方案

PDF
TL;DR通过多级视觉变换编码器中的多级特征，本文提出了一种新颖的语义分割解码方案，旨在降低计算开销、提高分割准确性，并通过聚合后的语义增强多级特征，从注意力分配的角度保持上下文一致性，大幅降低计算成本。实验结果表明该方案在计算成本上优于现有语义分割模型，且没有准确性损失；深入的消融研究证明了所提出思路的有效性。
multi-scale architecturehierarchical vision transformersemantic segmentationdecoding schemecomputational cost
发现论文，激发创造
  • 医学图像分割的多尺度自引导注意力

    采用引导自我关注机制的卷积神经网络模型对医学图像进行语义分割，能够更好地捕捉图像中的上下文依赖关系，去除冗余的信息提取并集成本地特征和全局依赖，强调相关特征关联，从而取得更好的分割效果。

    Jun, 2019

  • 层次多尺度注意力用于语义分割

    本文介绍了一种基于注意力机制的多尺度预测整合方法，其中的层次化结构能够节省大量内存，提高训练速度和模型精度，并在 Cityscapes 和 Mapillary Vistas 数据集上达到了新的最优结果。

    May, 2020

  • 多尺度细化的注意力语义分割

    本文提出了一种新颖的注视模型用于语义分割，该模型聚合了多尺度和上下文特征进行预测。该模型使用骨骼卷积神经网络框架输入多个不同的尺度，进而可以获取不同尺度的表示。提出的注视模型将分别处理不同尺度的特征并集成它们。然后，该模型的位置注视分支学习到每个像素位置上的多尺度特征的软加权。此外，我们添加了一个重新校准分支，与位置注视分支平行，用于重新校准每个类别的分数图。在 PASCAL VOC 2012 和 ADE20K 数据集上，我们取得了相当有竞争力的结果，超过了基线和相关工作。

    Jul, 2018

  • 关注尺度：尺度感知的语义图像分割

    本论文研究了怎样在卷积神经网络中实现多尺度特征表示，提出了一种注重对每个像素位置进行加权的注意力机制。通过对三个大型数据集的广泛实验，证明了该方法的有效性。

    Nov, 2015

  • 多尺度和跨尺度对比学习用于语义分割

    本研究考虑应用监督对比学习提高语义分割中多尺度特征的判别能力，并通过有效的采样过程与跨尺度对比学习方法进一步提高模型性能。

    Mar, 2022

  • 跨尺度分层 Transformer 结合语义对应增强注意力用于推断鸟瞰视角语义分割

    本研究提出了一种基于跨尺度分层 Transformer 和对应增强注意力的语义分割训练方法，针对使用多相机视图图像进行 Bird's-eye-view（BEV）语义分割的问题，并在大量实验中证明了其性能优越性。

    Apr, 2023

  • 联合视觉语义推理：多阶段文本识别解码器

    通过引入语义信息，该论文提出了一种基于多级多尺度注意力解码器的视觉 - 语义推理方法，使用以往的视觉特征进行预测并使用多级注意力进行精细化的预测，获得了比现有技术达到了更好的性能。

    Jul, 2021

  • 基于线性变换的轻量级无头信息语义分割

    本文介绍了一种轻量级的语义分割架构，名为自适应频率变换器。它采用并行架构，使用原型表示作为可学习的局部描述来替代解码器，并在高分辨率特征上保留了丰富的图像语义。我们还使用异构运算符（CNN 和 Vision Transformer）进行像素嵌入和原型表示，以进一步节省计算成本。

    Jan, 2023

  • 用 Transformer 统一特征和成本聚合的语义和视觉对应

    本论文介绍了一种基于 Transformer 的综合特征和成本聚合网络，用于密集匹配任务。我们展示了特征聚合和成本聚合的不同特点，并介绍了一种简单而有效的架构，利用自注意力机制和互注意力机制来统一特征聚合和成本聚合，从而在语义匹配和几何匹配任务中实现了显著的改进。

    Mar, 2024

  • 多层稠密注意力解码器用于息肉分割

    通过引入名为 Dense Attention Gate 的新模块，建立了多层特征之间的本地特征关系，同时采用新的嵌套解码器架构来增强语义特征，并与 PVT 主干网络相结合，实现了多层密集特征的层次聚合，从而在多个数据集上取得了最新的性能表现，优于先前的模型。

    Mar, 2024