ICLRApr, 2024

多尺度表示通过变化窗口注意力的语义分割

PDF
TL;DR多尺度学习在语义分割中起着重要作用。本文针对多尺度学习过程中的不足提出了一种新型多尺度学习器，即变窗关注（VWA），它利用了本地窗口关注（LWA）并将其分解为查询窗口和上下文窗口，使得上下文的尺度可以变化以便查询窗口学习多尺度的表示。此外，作者还介绍了基于 VWA 的多尺度解码器（MSD），VWFormer，来提高语义分割的多尺度表示效果。VWFormer 在与其他计算友好的 MSD 算法相比的情况下，具有竞争力的计算效率，但是性能要比其他算法好得多。
multi-scale learningsemantic segmentationvarying window attentionmulti-scale representationsvwformer
发现论文，激发创造
  • Lawin Transformer：通过大窗口注意力提高多尺度表示的语义分割 Transformer

    本文通过引入窗口关注机制和金字塔池化等方法，成功将多尺度表征引入语义分割 ViT 中，进一步提高了性能和效率。研究结果表明，该模型具有更高的效率和更好的表现，并在 Cityscapes、ADE20K 和 COCO-Stuff 数据集上，取得了新的最优性能。

    Jan, 2022

  • 超越固定关注窗口：动态窗口视觉变换器

    本文介绍了一种名为动态窗口视觉 Transformer (DW-ViT) 的新型方法，其采用动态多尺度窗口对模型性能的影响进行了探索，并通过对三个数据集的详细性能评估，与相关的最新技术方法相比，DW-ViT 表现出最佳性能。

    Mar, 2022

  • ScalableViT: 重思视觉 Transformer 的面向上下文的泛化

    本文提出了可扩展的自注意力机制 (SSA) 和交互窗口自注意力 (IWSA) 机制以及它们的堆叠模型 Scalable Vision Transformer (ScalableViT)，并在 ImageNet-1K 分类任务上超越了目前最先进的 Twins-SVT-S 和 Swin-T 模型。

    Mar, 2022

  • 层次多尺度注意力用于语义分割

    本文介绍了一种基于注意力机制的多尺度预测整合方法，其中的层次化结构能够节省大量内存，提高训练速度和模型精度，并在 Cityscapes 和 Mapillary Vistas 数据集上达到了新的最优结果。

    May, 2020

  • 关注尺度：尺度感知的语义图像分割

    本论文研究了怎样在卷积神经网络中实现多尺度特征表示，提出了一种注重对每个像素位置进行加权的注意力机制。通过对三个大型数据集的广泛实验，证明了该方法的有效性。

    Nov, 2015

  • 基于多尺度注意融合的自训练框架用于弱监督语义分割

    提出一种利用多尺度类别感知度量融合的自训练方法，采集不同尺度的注意力图信息并应用去噪和激活策略来增强潜在区域和减少嘈杂区域，最后利用优化后的注意力图重新训练模型，实验证明该方法可以从多尺度图像提取丰富的语义信息，并在 PASCAL VOC 2012 验证集和测试集上实现了 72.4% 的平均交并比得分。

    May, 2023

  • 内存高效稀疏金字塔注意力网络用于全尺寸图像分析

    提出了一种名为 Memory-Efficient Sparse Pyramid Attention Networks with Shifted Windows (SPAN) 的方法，通过引入稀疏金字塔注意力架构和移动窗口的机制来处理具有庞大数据规模和冗余处理的无用区域的病理学 WSI 图像分析，以实现内存效率化和 WSI 数据的精确建模。

    Jun, 2024

  • 基于方向窗口注意力的医学图像分割

    DwinFormer 是一个层级编码器解码器架构，具有方向窗口（Dwin）注意力和全局自注意力（GSA）用于特征编码，通过在水平、垂直和深度方向分别执行注意力，在输入特征图的这些方向体积中有效地捕捉局部和全局信息，实验证明它在医学图像分割方面优于当前最先进的方法。

    Jun, 2024

  • 一种基于多尺度特征融合的轻量级注意力深度网络用于多视角面部表情识别

    通过引入轻量级的关注网络，以及多尺度特征融合，本研究的主要目标是克服在实际应用中计算复杂性和多视角头部姿势方面所面临的挑战，该方法在参数数量和对姿势变化的鲁棒性方面达到了业界先进方法的水平。

    Mar, 2024

  • 多尺度细化的注意力语义分割

    本文提出了一种新颖的注视模型用于语义分割，该模型聚合了多尺度和上下文特征进行预测。该模型使用骨骼卷积神经网络框架输入多个不同的尺度，进而可以获取不同尺度的表示。提出的注视模型将分别处理不同尺度的特征并集成它们。然后，该模型的位置注视分支学习到每个像素位置上的多尺度特征的软加权。此外，我们添加了一个重新校准分支，与位置注视分支平行，用于重新校准每个类别的分数图。在 PASCAL VOC 2012 和 ADE20K 数据集上，我们取得了相当有竞争力的结果，超过了基线和相关工作。

    Jul, 2018