Jul, 2023

RepViT：从 ViT 的视角重新审视移动 CNN

PDF
TL;DR轻量级视觉变换器（ViTs）相较于资源受限的移动设备上的轻量级卷积神经网络（CNNs），通过多头自注意模块获得更高的性能和更低的延迟。本研究回顾了轻量级 CNNs 的高效设计，强调其在移动设备上的潜力，并通过整合轻量级 ViTs 的高效架构选择增强了一种新的纯轻量级 CNNs 家族，即 RepViT。大量实验证明，RepViT 优于现有的轻量级 ViTs，并在各种视觉任务中具有有利的延迟。在 ImageNet 上，RepViT 在 iPhone 12 上实现了超过 80％的 top-1 准确性，延迟接近 1 毫秒，这在我们的知识范围内是轻量级模型的首次。我们最大的模型 RepViT-M3 在仅 1.3 毫秒延迟下获得了 81.4％的准确性。代码和训练模型可在 https://github.com/jameslahm/RepViT 找到。
lightweight vision transformersconvolutional neural networksmulti-head self-attention moduleefficient designmobile devices
发现论文，激发创造
  • MobileViT：轻量级、通用、面向移动的视觉 Transformer

    本文提出了一种 MobileViT 轻量级通用视觉变换器，将 transformers 视为卷积，可用于移动设备，取得了比 CNN 和 ViT 更好的性能，特别是在对象检测任务上。

    Oct, 2021

  • 基于 Vision Transformers 的轻量级 CNN 竞争移动设备

    通过引入高度成本效益的局部全局局部（LGL）信息交换瓶颈，结合最优的自注意力和卷积，我们引入了 EdgeViTs，这是一种新的轻便 ViTs 家族，它们能够在准确性和设备效率之间的权衡中与最佳轻量级 CNNs 竞争，并优于其他 ViTs 几乎在所有情况下，证实了模型是帕累托最优的。

    May, 2022

  • ExMobileViT：移动视觉 Transformer 的轻量分类器扩展

    提出了一种有效的结构，通过小的计算开销增强了适用于移动设备的视觉 Transformer 的性能。该结构通过存储来自早期注意力阶段的信息并在最终分类器中重复利用该信息解决了现有方案的弱点。

    Sep, 2023

  • RepNeXt: 一种使用结构重参数化的快速多尺度卷积神经网络

    本研究展示了一种针对资源受限应用的视觉骨干模型 RepNeXt，它整合了多尺度特征表示，并通过串行和并行结构重参数化（SRP）来增强网络深度和宽度，从而在各种视觉基准上提供了低延迟和卓越性能。

    Jun, 2024

  • LightViT: 轻量化无卷积视觉 Transformer

    本研究提出了一种名为 LightViT 的轻量化 transformer 网络，通过全局有效聚合策略结合注意力机制和多维度的通道 / 空间注意力机制来捕捉全局依赖信息，从而实现更好的准确性和效率平衡。实验证明，该模型在图像分类、目标检测和语义分割任务中均取得了显著的提升。

    Jul, 2022

  • 小规模数据上轻量级视觉变形器的预训练与图像最小缩放

    轻量级视觉 Transformer（ViT）可以通过预训练和最小的图像缩放，实现优于 ResNet 等卷积神经网络在小数据集和小图像分辨率上的性能，而不需要显著地增大图像。

    Feb, 2024

  • RepViT-SAM：面向实时分割任意物体

    为了在资源受限的移动设备上实现实时分割任何物体，本文使用了 RepViT-SAM 模型，代替了 SAM 中的重型图像编码器，得到了具有显著改进的零样本迁移能力和近 10 倍更快推理速度。

    Dec, 2023

  • Next-ViT：面向现实工业场景的下一代视觉 Transformer

    本文提出 Next-ViT 模型，使用 Next Convolution Block 和 Next Transformer Block 捕获局部和全局信息，以加速多种视觉任务的表现，同时保持与最先进的 CNN-Transformer 混合框架的可比性，可用于实际工业场景中的高效部署。

    Jul, 2022

  • 移动应用的视觉 Transformer：简要概述

    本文研究提出了一些专门为移动设备设计的 ViT 架构，分析了移动应用场景下 ViT 网络所面临的挑战，旨在为未来的研究方向提供基础，并选择最佳的 ViT 视觉架构以适用于移动设备。

    May, 2023

  • 快速视觉 Transformer 模型：具有分层注意力机制

    本文介绍了一种新的卷积神经网络和可见 - 感知变换神经网络的混合模型 ——FasterViT，利用 HAT 方法分层降低全局自注意力的计算复杂度，提高图像处理的吞吐量和效率。FasterViT 在各种计算机视觉任务中得到了广泛的验证，并表现出比竞争对手更快，更准确的性能。

    Jun, 2023