Jun, 2022

EfficientFormer：在 MobileNet 速度下的视觉 Transformer

PDF
TL;DR本文介绍了一种高效的纯 Transformer 设计方法 EfficientFormer，用于实现与 MobileNet 相当的性能且具有极低的推理延迟，它通过解决 ViT 中的存储器冗余问题来达到这一目的。
vision transformersattention mechanismmobilenet blockefficientformerlow latency
发现论文，激发创造
  • 高效 ViT: 带级联分组注意力的内存高效视觉 Transformer

    本研究提出一种高速的视觉 Transformer 模型 EfficientViT，通过优化 Memory-Hard Self-Attention (MHSA) 和注意力的多样性等方法，提高其内存利用率，加快模型速度，并在速度和准确性之间取得良好的平衡。

    May, 2023

  • 移动应用的视觉 Transformer：简要概述

    本文研究提出了一些专门为移动设备设计的 ViT 架构，分析了移动应用场景下 ViT 网络所面临的挑战，旨在为未来的研究方向提供基础，并选择最佳的 ViT 视觉架构以适用于移动设备。

    May, 2023

  • Mobile-Former：连接 MobileNet 和 Transformer

    Mobile-Former 是一种结合 MobileNet 和 Transformer 的二元桥设计，其具有较低的计算成本和更强的表示能力，可以用于图像分类和对象检测，并在低 FLOP 区间内胜过 MobileNetV3 以及传统目标检测框架 DETR

    Aug, 2021

  • MobileViT：轻量级、通用、面向移动的视觉 Transformer

    本文提出了一种 MobileViT 轻量级通用视觉变换器，将 transformers 视为卷积，可用于移动设备，取得了比 CNN 和 ViT 更好的性能，特别是在对象检测任务上。

    Oct, 2021

  • ExMobileViT：移动视觉 Transformer 的轻量分类器扩展

    提出了一种有效的结构，通过小的计算开销增强了适用于移动设备的视觉 Transformer 的性能。该结构通过存储来自早期注意力阶段的信息并在最终分类器中重复利用该信息解决了现有方案的弱点。

    Sep, 2023

  • 选择哪种 Transformer：视觉 Transformer 效率的比较分析

    对视觉 Transformer 及相关架构的效率进行了综合分析，揭示了一系列有趣的见解，例如发现 ViT 在多个效率度量标准上仍然是最佳选择，同时低推理内存和参数数量时，混合注意力 - CNN 模型表现良好，模型大小的缩放比图像大小更为重要，FLOPS 与训练内存之间存在强正相关性。

    Aug, 2023

  • 基于 Vision Transformers 的轻量级 CNN 竞争移动设备

    通过引入高度成本效益的局部全局局部（LGL）信息交换瓶颈，结合最优的自注意力和卷积，我们引入了 EdgeViTs，这是一种新的轻便 ViTs 家族，它们能够在准确性和设备效率之间的权衡中与最佳轻量级 CNNs 竞争，并优于其他 ViTs 几乎在所有情况下，证实了模型是帕累托最优的。

    May, 2022

  • TopFormer：移动语义分割的 Token 金字塔 Transformer

    本研究提出了一种名为 TopFormer 的移动友好的架构，该架构以不同尺度的 Token 作为输入，产生具有尺度感知的语义特征，并将这些特征注入到相应的 Token 中以增强表示能力，该方法在多个语义分割数据集上明显优于 CNN 和 ViT 网络，并在 ARM 移动设备上以较低的延迟实现了比 MobileNetV3 更高的平均交并比精度，同时，TopFormer 的微型版本可以在 ARM 移动设备上实现实时推断。

    Apr, 2022

  • Next-ViT：面向现实工业场景的下一代视觉 Transformer

    本文提出 Next-ViT 模型，使用 Next Convolution Block 和 Next Transformer Block 捕获局部和全局信息，以加速多种视觉任务的表现，同时保持与最先进的 CNN-Transformer 混合框架的可比性，可用于实际工业场景中的高效部署。

    Jul, 2022

  • TRT-ViT：针对 TensorRT 的 Vision Transformer

    本文主要从实际应用的角度重新审视 Transformer，并将硬件延迟作为衡量计算效率的指标，提出一系列针对 TensorRT 的网络设计实践指南，并给出了一家 TRT-ViT 的网络模型，实验表明在不同的视觉任务中，TRT-ViT 在延迟 / 准确性的权衡方面显著优于现有的 ConvNets 和 Vision Transformers。

    May, 2022