Dec, 2021

MIA-Former: 多粒度输入适应的高效和鲁棒视觉 Transformer

PDF
TL;DR本文提出了一种多粒度输入自适应 Transformer 框架 MIA-Former，可以在多个粒度上调整 ViTs 的结构以适应输入图像的不同难度，并且具有改进对抗攻击鲁棒性的效果。经过实验验证，MIA-Former 能够有效地分配计算资源，并取得与 SOTA 动态 Transformer 模型相比甚至更高的准确率和更低的计算复杂度。
vitsmia-formerinput-adaptivecomputational complexityadversarial attacks
发现论文，激发创造
  • 适应形态：为可扩展视觉识别调整视觉变换器

    提出了一种叫做 “AdaptFormer” 的方法，可将预训练的视觉 Transformer 模型快速适应于多个图像和视频识别任务中，在不更新原预训练参数的情况下，只增加不到 2％的额外参数，就能显著提高模型的可迁移性和表现

    May, 2022

  • 基于群组混合注意力的视觉 Transformer 的进展

    基于 Group-Mix Attention 的 GroupMixFormer 模型在图像分类、物体检测和语义分割方面表现出色，参数较现有模型更少，例如 GroupMixFormer-L 在 ImageNet-1K 上取得 86.2% 的 Top-1 准确率，GroupMixFormer-B 在 ADE20K 上取得 51.2% 的 mIoU。

    Nov, 2023

  • SG-Former: 自我引导变形器与演化式记号重分配

    利用自适应细粒度的全局自注意力，SG-Former 模型通过重分配代币实现了高性能，其基本模型在 ImageNet-1K 上达到了 84.7％的 Top-1 准确率，在 CoCo 上达到了 51.2mAP 的 bbAP，在 ADE20K 上达到了 52.7mIoU 的准确率，超过了 Swin Transformer 模型，而计算成本和参数较少。

    Aug, 2023

  • 基于异质注意力模式的视觉 Transformer 加速

    基于观察到的异构注意力模式，在 Vision Transformers 中提出了一种综合压缩方法，通过动态引导的静态自注意力和全局聚合金字塔，加速了运行时间吞吐量，超过了所有 SOTA 方法。

    Oct, 2023

  • DMFormer：缩小 CNN 和 Vision Transformer 之间的差距

    本文提出了一种动态多级注意力机制 (DMA)，它通过多个卷积核大小捕捉输入图像的不同模式，并通过门控机制实现输入自适应权重，然后提出了一种名为 DMFormer 的有效骨干网络，该网络采用了 DMA 替代了视觉变换器中的自我关注机制。在 ImageNet-1K 和 ADE20K 数据集上的广泛实验结果表明，DMFormer 具有先进的性能，优于大小相似的视觉变压器 (ViTs) 和卷积神经网络 (CNNs)。

    Sep, 2022

  • 探索 Vision Transformers 用于细粒度分类

    研究提出了一种多阶段的 Vision Transformer 框架，用于细粒度图像分类，可在不需要架构变化的情况下定位信息图像区域。 Attention-guided 增强技术提高了模型性能，并在四个流行的细粒度基准测试中进行了实验，同时通过定性结果证明了模型的可解释性。

    Jun, 2021

  • 多尺度视觉 Longformer: 一种新的高分辨率图像编码 Vision Transformer

    本文提出了一种新的 Vision Transformer (ViT) 结构 Multi-Scale Vision Longformer，可以提高处理高分辨率图像的能力，主要通过多尺度模型结构和视觉 Longformer 的注意机制来实现，经过全面的实验表明在多项计算机视觉任务中，新的 ViT 模型比现有的 ViT 模型和基于 ResNet 的模型及其他竞争模型的性能都更好。

    Mar, 2021

  • ResFormer：多尺度训练下的 ViT 模型缩放

    ResFormer 框架通过多分辨率训练方法和全局 - 局部位置嵌入策略，在图像分类、目标检测、语义分割和视频动作识别等领域取得了较好的结果。

    Dec, 2022

  • InstaFormer：具有 Transformer 的实例感知图像翻译

    提出了一种新型的基于 Transformer 的网络结构 InstaFormer，用于实例感知的图像到图像的转换，可以有效地整合全局和实例级信息，通过自注意力模块在 Transformers 中考虑上下文信息，通过将通过边界框信息从内容特征中提取的实例级特征与这些标记相结合，我们的框架能够学习对象实例和全局图像之间的互动，从而提高实例感知能力，同时在标准 Transformer 中使用自适应实例归一化（AdaIN）代替层规范化（LayerNorm），以启用具有风格编码的多模式翻译。另外，为了提高实例感知能力和物体区域的翻译质量，介绍了一种实例级内容对比损失，定义了输入图像和翻译图像之间的对比损失。实验表明，与最新方法相比，我们的 InstaFormer 具有更好的性能。

    Mar, 2022

  • 多尺度和令牌合并：让您的 ViT 更高效

    本文提出一种新的 token pruning 方法，通过筛选关键词实现计算效率和模型效果的折衷，实验结果表明，该方法可显著降低计算成本，同时仅导致 0.1% 的 DeiT-S 识别精度下降。

    Jun, 2023