Jan, 2022

Lawin Transformer：通过大窗口注意力提高多尺度表示的语义分割 Transformer

PDF
TL;DR本文通过引入窗口关注机制和金字塔池化等方法，成功将多尺度表征引入语义分割 ViT 中，进一步提高了性能和效率。研究结果表明，该模型具有更高的效率和更好的表现，并在 Cityscapes、ADE20K 和 COCO-Stuff 数据集上，取得了新的最优性能。
multi-scale representationssemantic segmentationvision transformerwindow attention mechanismspatial pyramid pooling
发现论文，激发创造
  • RegionViT: 基于区域到局部的视觉转换器注意力机制

    本文提出了一种采用金字塔结构和新的区域到局部注意力的视觉 transformer（ViT）架构，可以在图像分类和目标检测等四个任务上优于目前最先进的视觉 transformer（ViT）变体。

    Jun, 2021

  • 视觉 Transformer: 从语义分割到密集预测

    本研究首次探索视觉变换器（ViT）的全局上下文学习潜力以实现密集视觉预测，编码图像作为一系列补丁并学习全局上下文，使 ViT 可以捕获更强的长距离依赖信息，提出的分割转换器（SETR）在 ADE20K 和 Pascal Context 数据集上取得了出色表现，同时提出了一系列分层本地 - 全局转换器，架构由局部关注（在窗口内）和全局关注（跨窗口）构成，对于各种密集预测任务具有吸引人的性能

    Jul, 2022

  • 多尺度表示通过变化窗口注意力的语义分割

    多尺度学习在语义分割中起着重要作用。本文针对多尺度学习过程中的不足提出了一种新型多尺度学习器，即变窗关注（VWA），它利用了本地窗口关注（LWA）并将其分解为查询窗口和上下文窗口，使得上下文的尺度可以变化以便查询窗口学习多尺度的表示。此外，作者还介绍了基于 VWA 的多尺度解码器（MSD），VWFormer，来提高语义分割的多尺度表示效果。VWFormer 在与其他计算友好的 MSD 算法相比的情况下，具有竞争力的计算效率，但是性能要比其他算法好得多。

    Apr, 2024

  • 超越固定关注窗口：动态窗口视觉变换器

    本文介绍了一种名为动态窗口视觉 Transformer (DW-ViT) 的新型方法，其采用动态多尺度窗口对模型性能的影响进行了探索，并通过对三个数据集的详细性能评估，与相关的最新技术方法相比，DW-ViT 表现出最佳性能。

    Mar, 2022

  • 多尺度高分辨率视觉 Transformer 用于语义分割

    HRViT 通过将高分辨率多支路结构与 Vision Transformers 相集成，探索异构分支设计，减少线性层中的冗余并增强注意力块的表现力，从而在 ADE20K 和 Cityscapes 数据集达到 50.20％和 83.16％的 mIoU 优化性能和效率，比现有的 MiT 和 CSWin 骨干框架平均提高 1.78 个 mIoU，参数节省 28％，FLOPs 减少 21％。

    Nov, 2021

  • CrossViT: 跨注意力多尺度视觉 Transformer 用于图像分类

    本文提出了一种名为 Dual-Branch Transformer 的模型，通过使用不同尺寸的图像块来获得更强的图像特征，进而学习多尺度特征表示，并采用交叉关注的方法进行多尺度特征的融合，使得计算复杂度得到控制，并在 ImageNet1K 数据集上实现了表现优于或与几个同时期的视觉转换器相当的结果。

    Mar, 2021

  • 利用 Swin Transformer 进行局部到全局弱监督语义分割

    近年来，计算机视觉领域中的弱监督语义分割使用基于图像级标签的监督引起了广泛关注。本研究探索了使用 Swin Transformer 的 'SWTformer' 来提高初始种子 CAMs 的准确性，通过结合局部和全局视角。

    Jan, 2024

  • Swin Transformer: 使用偏移窗口的分层视觉 Transformer

    本文提出了一种新的视觉 Transformer，称为 Swin Transformer，它在计算机视觉领域中作为通用骨干具有很强的能力，包括图像分类和目标检测。Swim Transformer 的层次设计和移位窗口方法对于所有多层感知器架构也证明是有益的，并且模型和代码是公开的。

    Mar, 2021

  • ScalableViT: 重思视觉 Transformer 的面向上下文的泛化

    本文提出了可扩展的自注意力机制 (SSA) 和交互窗口自注意力 (IWSA) 机制以及它们的堆叠模型 Scalable Vision Transformer (ScalableViT)，并在 ImageNet-1K 分类任务上超越了目前最先进的 Twins-SVT-S 和 Swin-T 模型。

    Mar, 2022

  • DeepViT: 朝更深层次的 Vision Transformer 进发

    本文发现 Vision transformers 模型存在 attention collapse issue 现象，即 transformer 模型越深层次的注意力权重变得越相似，严重影响模型性能，提出了一种名为 Re-attention 的有效方法来解决该问题，使得 32 层的 Vision transformers 模型在 ImageNet 数据集的 Top-1 分类准确率上提高了 1.6%。

    Mar, 2021