提出了一种多尺度补丁选择 (MSPS) 方法，以改善现有基于 Vision Transformers 的模型的多尺度能力。通过在多尺度 Vision Transformer 上的不同阶段选择不同尺度的显著补丁，并引入类令牌传递 (CTT) 和多尺度交叉注意力 (MSCA)，以模拟选定的多尺度补丁之间的交叉尺度相互作用并完全反映在模型决策中，从而提高了特征分层的丰富物体表征并在多个广泛使用的细粒度视觉识别基准上优于 CNN-/ViT- 基模型的 M2Former。

Aug, 2023

本文提出了一种新型的多路径视觉 Transformer（MPViT），通过使用重叠卷积视觉 patch 嵌入同时为不同尺度的 feature 生成令牌，将令牌按比例分为多个分支，并对分支进行处理，从而获得丰富的、多尺度的特征表示，在各项指标上均优于当前其他前沿网络，具有广泛的应用前景。

Dec, 2021

Multiscale Vision Transformers 是一种用于视频和图像识别的多尺度特征层级转换器，它可基于视觉信号的密集性建模逐渐展开通道容量和降低空间分辨率得到的多尺度特征金字塔，它能优于大规模的外部预训练及在计算和参数方面更为昂贵的传统视觉转换器。

Apr, 2021

本文介绍一种叫做 FlexiViT 的方法，能够动态改变 ViT 模型输入的 patch size 以适应不同的计算预算，从而提高计算效率和精度。通过实验发现，FlexiViT 训练的模型在分类、图像文本检索、分割等多个任务上表现良好，易于应用于大多数基于 ViT 结构的计算任务。

Dec, 2022

本文提出了一种动态混合尺度的 Vision Transformers 模式，通过引入条件门控机制，智能选择每个图像区域的最佳令牌规模进行处理，从而提高图像分类的精度和效率。

Jul, 2023

提出一种名为 Iterative Patch Selection (IPS) 的简单方法，该方法仅选择最显着的补丁，将其聚合成用于图像识别的全局表示，从而可以在硬件限制下处理任意大小的图像，展现出强大的性能和广泛的适用性，同时使用最少的加速器内存。

Oct, 2022

视网膜视觉转换器（RetinaViT）是从人类视觉系统中汲取灵感，将缩小版本的输入图像的补丁添加到第一个 Transformer 编码器层的输入中。实验结果表明，当在 ImageNet-1K 数据集上进行训练时，RetinaViT 相比原始的 ViT 模型获得了 3.3% 的性能提升，这可能归因于输入中低空间频率成分的包含，从而提高了捕捉结构特征的能力并将重要特征传递给更深的层次，为进一步研究垂直通路和注意模式打开了新的研究方向。

Mar, 2024

ResFormer 框架通过多分辨率训练方法和全局 - 局部位置嵌入策略，在图像分类、目标检测、语义分割和视频动作识别等领域取得了较好的结果。

Dec, 2022

本文提出了基于自适应补丁退出（APE）的可伸缩方法来实现更实际的加速。我们首先建议训练回归器来预测各个层的增量容量，一旦增量容量低于阈值，特定层上的补丁可以退出。此外，我们提出了一种新的策略来实现网络训练。通过不同的阈值设置，我们的方法可以轻松调整性能和效率的折衷。在各种主干，数据集和缩放因子上进行了广泛的实验证明了我们方法的优点。

Mar, 2022

本文提出了一个基于 Vision Transformer (ViT) 的图像重构框架，利用 4 种优化技术和生成对抗网络（GANs）启发的对抗性损失函数，用于图像去噪和修复，实验表明该框架在结构相似性（SSIM）方面比 U-Net 模型高出超过 3.5％，对于这两个任务，提议的增强算法进一步展示了超过基准的 extasciitilde5％SSIM 的改进。

Jul, 2023