Jul, 2023
RepViT：从ViT的视角重新审视移动CNN
RepViT: Revisiting Mobile CNN From ViT Perspective
TL;DR轻量级视觉变换器（ViTs）相较于资源受限的移动设备上的轻量级卷积神经网络（CNNs），通过多头自注意模块获得更高的性能和更低的延迟。本研究回顾了轻量级CNNs的高效设计，强调其在移动设备上的潜力，并通过整合轻量级ViTs的高效架构选择增强了一种新的纯轻量级CNNs家族，即RepViT。大量实验证明，RepViT优于现有的轻量级ViTs，并在各种视觉任务中具有有利的延迟。在ImageNet上，RepViT在iPhone 12上实现了超过80％的top-1准确性，延迟接近1毫秒，这在我们的知识范围内是轻量级模型的首次。我们最大的模型RepViT-M3在仅1.3毫秒延迟下获得了81.4％的准确性。代码和训练模型可在https://github.com/jameslahm/RepViT找到。