Jun, 2023

Swin-Free：采用窗口大小变化实现更好的跨窗口关注和效率

PDF
TL;DR本研究旨在提高计算机视觉中 Transformer 模型的精度和效率，通过在 Swin Transformer 模型中引入可变大小的窗口来实现本地窗口之间的交叉连接，以提高模型准确性和速度。
transformer modelsswin transformercomputer visionefficiencysize-varying windows
发现论文，激发创造
  • Swin Transformer: 使用偏移窗口的分层视觉 Transformer

    本文提出了一种新的视觉 Transformer，称为 Swin Transformer，它在计算机视觉领域中作为通用骨干具有很强的能力，包括图像分类和目标检测。Swim Transformer 的层次设计和移位窗口方法对于所有多层感知器架构也证明是有益的，并且模型和代码是公开的。

    Mar, 2021

  • 超越固定关注窗口：动态窗口视觉变换器

    本文介绍了一种名为动态窗口视觉 Transformer (DW-ViT) 的新型方法，其采用动态多尺度窗口对模型性能的影响进行了探索，并通过对三个数据集的详细性能评估，与相关的最新技术方法相比，DW-ViT 表现出最佳性能。

    Mar, 2022

  • CSWin Transformer: 带有十字形窗口的通用视觉 Transformer 骨干

    CSWin Transformer 是一种有效的基于 Transformer 网络的视觉任务骨干，并通过使用 Cross-Shaped Window 自注意机制和局部增强位置编码等设计来提高建模性能，在常见的视觉任务中展现出了竞争力。

    Jul, 2021

  • Video Swin Transformer

    本文介绍了一种针对视频领域的区域局部性 Transformer 架构，通过使用 Swin Transformer 设计来实现，同时利用预训练模型的威力，取得了行动识别和时间建模等广泛的视频识别基准的最新准确性。

    Jun, 2021

  • 因式分解视觉转换器：通过局部窗口成本建模远距依赖

    我们提出了一种新颖的分解自我注意力机制 (FaSA)，它具有本地窗口的计算成本和远程依赖建模能力。利用 FaSA，我们提出了层次结构的分解视觉 Transformer (FaViT)，它在输入图像空间分辨率方面具有线性计算复杂性，并在分类和下游任务中表现出卓越性能。与基准模型 Swin-T 相比，我们的 FaViT-B2 在分类精度上提高了 1％，在鲁棒性上提高了 7％，同时减少了 14％的模型参数。

    Dec, 2023

  • 语音 Swin-Transformer: 探索一种具有平移窗口的分层 Transformer 用于语音情感识别

    该研究提出了一种基于分层性 Speech Swin-Transformer 的声音情感识别方法，通过分级的窗口聚合多尺度情感特征，将 Transformer 的感知范围从帧级扩展到片段级，实验结果表明该方法优于现有的技术。

    Jan, 2024

  • SwiFT：Swin 4D fMRI Transformer

    使用 SwiFT 模型，利用多头自注意机制和绝对位置嵌入，从 4D 功能性脑 MRI 数据中直接学习大脑动态。实验结果表明，SwiFT 在诸如预测性别、年龄和认知智能等任务中始终优于最新一代模型，并可进行对比损失自我监督预训练以获得更好的性能。

    Jul, 2023

  • SwinFIR：通过快速傅里叶卷积和改进的训练重新审视 SwinIR 并用于图像超分辨率

    本文介绍了一种基于 Transformer 的方法，用于图像恢复，提出了一种名为 SwinFIR 的扩展方法，旨在提高捕捉全局信息的效率，同时改进了数据增强、预训练、特征集成等高级技术，使模型的性能得到显着提高，并在多个大型基准测试上取得了最先进的性能。

    Aug, 2022

  • 利用 Swin Transformer 进行局部到全局弱监督语义分割

    近年来，计算机视觉领域中的弱监督语义分割使用基于图像级标签的监督引起了广泛关注。本研究探索了使用 Swin Transformer 的 'SWTformer' 来提高初始种子 CAMs 的准确性，通过结合局部和全局视角。

    Jan, 2024

  • 基于增强的 Swin Transformer 及本地 - 全局特征的交替聚合的图像超分辨重建网络

    本论文通过交替聚合局部全局特征，引入了位移卷积实现局部空间信息和通道信息的交互，并提出了块稀疏全局感知模块以进一步实现空间和通道信息的交互。同时，引入了多尺度自注意模块和低参数残差通道注意模块，实现了不同尺度上的信息聚合。在五个公开数据集上验证了提出的网络，在超分辨率方面超过了其他最先进的网络。

    Dec, 2023