Sep, 2023

ExMobileViT：移动视觉 Transformer 的轻量分类器扩展

PDF
TL;DR提出了一种有效的结构，通过小的计算开销增强了适用于移动设备的视觉 Transformer 的性能。该结构通过存储来自早期注意力阶段的信息并在最终分类器中重复利用该信息解决了现有方案的弱点。
vision transformermobilevitperformance enhancementearly attention stagesclassifier
发现论文，激发创造
  • MobileViT：轻量级、通用、面向移动的视觉 Transformer

    本文提出了一种 MobileViT 轻量级通用视觉变换器，将 transformers 视为卷积，可用于移动设备，取得了比 CNN 和 ViT 更好的性能，特别是在对象检测任务上。

    Oct, 2021

  • 基于 Vision Transformers 的轻量级 CNN 竞争移动设备

    通过引入高度成本效益的局部全局局部（LGL）信息交换瓶颈，结合最优的自注意力和卷积，我们引入了 EdgeViTs，这是一种新的轻便 ViTs 家族，它们能够在准确性和设备效率之间的权衡中与最佳轻量级 CNNs 竞争，并优于其他 ViTs 几乎在所有情况下，证实了模型是帕累托最优的。

    May, 2022

  • LightViT: 轻量化无卷积视觉 Transformer

    本研究提出了一种名为 LightViT 的轻量化 transformer 网络，通过全局有效聚合策略结合注意力机制和多维度的通道 / 空间注意力机制来捕捉全局依赖信息，从而实现更好的准确性和效率平衡。实验证明，该模型在图像分类、目标检测和语义分割任务中均取得了显著的提升。

    Jul, 2022

  • RepViT：从 ViT 的视角重新审视移动 CNN

    轻量级视觉变换器（ViTs）相较于资源受限的移动设备上的轻量级卷积神经网络（CNNs），通过多头自注意模块获得更高的性能和更低的延迟。本研究回顾了轻量级 CNNs 的高效设计，强调其在移动设备上的潜力，并通过整合轻量级 ViTs 的高效架构选择增强了一种新的纯轻量级 CNNs 家族，即 RepViT。大量实验证明，RepViT 优于现有的轻量级 ViTs，并在各种视觉任务中具有有利的延迟。在 ImageNet 上，RepViT 在 iPhone 12 上实现了超过 80％的 top-1 准确性，延迟接近 1 毫秒，这在我们的知识范围内是轻量级模型的首次。我们最大的模型 RepViT-M3 在仅 1.3 毫秒延迟下获得了 81.4％的准确性。代码和训练模型可在 https://github.com/jameslahm/RepViT 找到。

    Jul, 2023

  • 移动应用的视觉 Transformer：简要概述

    本文研究提出了一些专门为移动设备设计的 ViT 架构，分析了移动应用场景下 ViT 网络所面临的挑战，旨在为未来的研究方向提供基础，并选择最佳的 ViT 视觉架构以适用于移动设备。

    May, 2023

  • 高效 ViT: 带级联分组注意力的内存高效视觉 Transformer

    本研究提出一种高速的视觉 Transformer 模型 EfficientViT，通过优化 Memory-Hard Self-Attention (MHSA) 和注意力的多样性等方法，提高其内存利用率，加快模型速度，并在速度和准确性之间取得良好的平衡。

    May, 2023

  • MobileViTv3：具备本地、全局和输入特征的简单有效融合的移动友好视觉变换器

    MobileViT 使用卷积神经网络和视觉 transformer 结合，提出了 MobileViTv3-block 来处理模型缩放以及简化学习任务问题，其在 ImageNet-1k、ADE20K、COCO 和 PascalVOC2012 数据集上表现更优。

    Sep, 2022

  • MiniViT: 基于权重复用压缩视觉 Transformer

    提出 MiniViT 压缩框架，利用权重多路复用和自注意力权重蒸馏相结合，显著减少参数数量，同时在视觉任务中保持高精度，找到解决 Vision Transformer 参数过多的问题的方法。

    Apr, 2022

  • LeViT: 一个穿着 ConvNet 外衣的视觉 Transformer 用于更快的推理

    本文介绍了 LeViT：一个用于快速推理图像分类的混合神经网络，它利用了最近在具有高度并行处理硬件竞争力的注意力架构中的发现，重新审视了卷积神经网络文献中的原则以将它们应用于 transformers，特别是带有分辨率降低的激活映射，还引入了一种新的方式来将位置信息集成到 vision transformers 中的注意偏差。

    Apr, 2021

  • CrossViT: 跨注意力多尺度视觉 Transformer 用于图像分类

    本文提出了一种名为 Dual-Branch Transformer 的模型，通过使用不同尺寸的图像块来获得更强的图像特征，进而学习多尺度特征表示，并采用交叉关注的方法进行多尺度特征的融合，使得计算复杂度得到控制，并在 ImageNet1K 数据集上实现了表现优于或与几个同时期的视觉转换器相当的结果。

    Mar, 2021