Jul, 2021

CSWin Transformer: 带有十字形窗口的通用视觉 Transformer 骨干

PDF
TL;DRCSWin Transformer 是一种有效的基于 Transformer 网络的视觉任务骨干，并通过使用 Cross-Shaped Window 自注意机制和局部增强位置编码等设计来提高建模性能，在常见的视觉任务中展现出了竞争力。
cswin transformerself-attention mechanismlocal positional encodingvision taskstransformer network
发现论文，激发创造
  • Swin Transformer: 使用偏移窗口的分层视觉 Transformer

    本文提出了一种新的视觉 Transformer，称为 Swin Transformer，它在计算机视觉领域中作为通用骨干具有很强的能力，包括图像分类和目标检测。Swim Transformer 的层次设计和移位窗口方法对于所有多层感知器架构也证明是有益的，并且模型和代码是公开的。

    Mar, 2021

  • AxWin Transformer: 一个具有轴向窗口的上下文感知视觉 Transformer 主干

    提出了 AxWin Attention，结合局部窗口和轴向视图，将上下文信息建模在局部和全局信息上；并基于 AxWin Attention 开发了上下文感知的视觉 Transformer，名为 AxWin Transformer，其在分类和下游分割检测任务中优于现有技术方法。

    May, 2023

  • Swin-Free：采用窗口大小变化实现更好的跨窗口关注和效率

    本研究旨在提高计算机视觉中 Transformer 模型的精度和效率，通过在 Swin Transformer 模型中引入可变大小的窗口来实现本地窗口之间的交叉连接，以提高模型准确性和速度。

    Jun, 2023

  • 使用自监督预训练的十字形窗口变换器，在双参数磁共振成像中检测临床上显著的前列腺癌

    本研究通过引入自监督预训练框架，提出了一种全新的端到端 Cross-Shaped windows (CSwin) transformer UNet 模型，用于检测临床重要的前列腺癌症，通过在大量未标记的数据上进行学习，提高数据效率和网络的泛化能力，成功地提高了模型性能。

    Apr, 2023

  • 双窗口训练高分辨率视觉 Transformer

    高效训练和推理高分辨率视觉 Transformer 模型的新策略是只保留 N 个随机窗口的高分辨率输入，通过学习窗口内的标记间的局部交互和窗口间的全局交互，模型能够直接处理高分辨率输入。这种策略在使用相对位置嵌入（如旋转嵌入）时表现出了显著的有效性，训练速度是全分辨率网络的 4 倍，而且与现有方法相比使用起来更加简单。将此策略应用于语义分割等密集视觉任务中，发现使用 2 个窗口的简单设置效果最佳，因此命名为 Win-Win 方法。将此策略进一步扩展到光流等双目任务中，达到了在 Spring 基准测试中超越最佳竞争对手一个数量级更快推理时间的最先进性能。

    Oct, 2023

  • 利用 Swin Transformer 进行局部到全局弱监督语义分割

    近年来，计算机视觉领域中的弱监督语义分割使用基于图像级标签的监督引起了广泛关注。本研究探索了使用 Swin Transformer 的 'SWTformer' 来提高初始种子 CAMs 的准确性，通过结合局部和全局视角。

    Jan, 2024

  • 基于方向窗口注意力的医学图像分割

    DwinFormer 是一个层级编码器解码器架构，具有方向窗口（Dwin）注意力和全局自注意力（GSA）用于特征编码，通过在水平、垂直和深度方向分别执行注意力，在输入特征图的这些方向体积中有效地捕捉局部和全局信息，实验证明它在医学图像分割方面优于当前最先进的方法。

    Jun, 2024

  • CAT: 视觉 Transformer 中的交叉注意力

    探索使用 Cross Attention 机制替代传统的 self-attention 机制在计算机视觉任务中实现 Transformer 的实用性，实验表明该机制在 ImageNet-1K、COCO 和 ADE20K 等任务上可以达到先进水平，并且降低了计算量。

    Jun, 2021

  • Pale Transformer：一种具有 Pale 形状注意力的通用视觉 Transformer 骨干

    本研究提出一种 Pale-Shaped self-Attention（PS-Attention）以及基于此的层次结构的通用视觉 Transformer 骨干，称为 Pale Transformer，通过使用 paleshaped（类似淡色的形状）来实现自我关注，缩减了计算和存储成本，同时在与之前的局部自我关注机制具有相似的计算复杂度下，捕捉了更丰富的上下文信息，并且在 ImageNet-1K，ADE20K 语义分割和 COCO 物体检测 & 实例分割的下游任务中均优于先前的 Transformer 骨干。

    Dec, 2021

  • 跨聚合 Transformer 用于图像恢复

    本篇论文提出了一种新的交叉聚合变压器（CAT）模型，并引入矩形窗口自注意力（Rwin-SA）与轴向移位操作来扩大注意力区域并跨多个窗口聚合特征，同时提出了本地补充模块来增强变压器的全局 - 局部耦合性能，实验结果表明，CAT 在多个图像修复应用中优于最新的若干方法。

    Nov, 2022