Aug, 2023

M2Former：多尺度细粒度视觉识别的补丁选择

PDF
TL;DR提出了一种多尺度补丁选择 (MSPS) 方法，以改善现有基于 Vision Transformers 的模型的多尺度能力。通过在多尺度 Vision Transformer 上的不同阶段选择不同尺度的显著补丁，并引入类令牌传递 (CTT) 和多尺度交叉注意力 (MSCA)，以模拟选定的多尺度补丁之间的交叉尺度相互作用并完全反映在模型决策中，从而提高了特征分层的丰富物体表征并在多个广泛使用的细粒度视觉识别基准上优于 CNN-/ViT- 基模型的 M2Former。
vision transformersfine-grained visual recognitionmulti-scale patch selectionclass token transferm2former
发现论文，激发创造
  • MPViT: 多路径视觉 Transformer 用于密集预测

    本文提出了一种新型的多路径视觉 Transformer（MPViT），通过使用重叠卷积视觉 patch 嵌入同时为不同尺度的 feature 生成令牌，将令牌按比例分为多个分支，并对分支进行处理，从而获得丰富的、多尺度的特征表示，在各项指标上均优于当前其他前沿网络，具有广泛的应用前景。

    Dec, 2021

  • MSViT：用于视觉 Transformer 的动态混合尺度分词

    本文提出了一种动态混合尺度的 Vision Transformers 模式，通过引入条件门控机制，智能选择每个图像区域的最佳令牌规模进行处理，从而提高图像分类的精度和效率。

    Jul, 2023

  • MSPE：多尺度补丁嵌入激励视觉变换器适应任何分辨率

    本研究提出了一种名为 Multi-Scale Patch Embedding（MSPE）的方法，通过优化贴片嵌入，增强模型对分辨率变化的适应能力，在图像分类、分割和检测任务中通过消除对原始图像的调整，显著提高低分辨率输入的性能，并与现有方法在高分辨率输入方面表现相当。

    May, 2024

  • CrossViT: 跨注意力多尺度视觉 Transformer 用于图像分类

    本文提出了一种名为 Dual-Branch Transformer 的模型，通过使用不同尺寸的图像块来获得更强的图像特征，进而学习多尺度特征表示，并采用交叉关注的方法进行多尺度特征的融合，使得计算复杂度得到控制，并在 ImageNet1K 数据集上实现了表现优于或与几个同时期的视觉转换器相当的结果。

    Mar, 2021

  • RAMS-Trans: 基于循环注意力多尺度变换器进行细粒度图像识别

    通过使用注意力权重来测量原始图像对应的补丁符记的重要性，我们提出了递归注意力多尺度转换器 (RAMS-Trans)，它使用变压器的自我注意力以多尺度的方式递归地学习区分地区的注意力。

    Jul, 2021

  • 多尺度视觉变换器

    Multiscale Vision Transformers 是一种用于视频和图像识别的多尺度特征层级转换器，它可基于视觉信号的密集性建模逐渐展开通道容量和降低空间分辨率得到的多尺度特征金字塔，它能优于大规模的外部预训练及在计算和参数方面更为昂贵的传统视觉转换器。

    Apr, 2021

  • 多阶段跨尺度注意力的视觉骨干增强

    我们提出了一个简单的附加注意力模块，通过多阶段和跨尺度的相互作用，克服了 CNN 和 ViTs 在视觉任务中相互特征图之间的互动不足，从而显着提高了性能。

    Aug, 2023

  • TransFG: 用于细粒度识别的 Transformer 架构

    本文介绍了一个基于 Vision Transformer 和 Part Selection Module 的模型 ——TransFG，可以有效提取重要的图像特征，应用于 Fine-grained visual classification，实现了最先进的表现。

    Mar, 2021

  • 特征融合视觉 Transformer 用于细粒度视觉分类

    本文提出了一个基于 Transformer 的框架，通过聚合特征来处理细粒度视觉分类任务，其中引入了一种新的令牌选择模块（MAWS）来引导网络有效地选择具有判别性的令牌，从而实现了最先进的性能。

    Jul, 2021

  • MMViT: 多尺度多视角视觉 Transformer

    提出了一种名为 Multiscale Multiview Vision Transformers（MMViT）的 transformer 模型，它引入了多尺度特征地图和多视角编码。该模型可以在不同的分辨率下处理输入的多个视图，并使用交叉注意力块将不同视图的信息融合在一起，从而实现对输入的复杂高维表示。在音频和图像分类任务上，通过实验证明了 MMViT 的有效性和达到了最先进的结果。

    Apr, 2023