Apr, 2024
MobileNetV4 - 移动生态系统通用模型
MobileNetV4 -- Universal Models for the Mobile Ecosystem
TL;DR我们介绍了最新一代的MobileNets, 称为MobileNetV4 (MNv4), 具有超高效的移动设备架构设计。我们引入了Universal Inverted Bottleneck (UIB)搜索块，这是一种统一而灵活的结构，融合了Inverted Bottleneck (IB), ConvNext, Feed Forward Network (FFN), 以及一种新颖的Extra Depthwise (ExtraDW)变体。此外，我们还提出了Mobile MQA，一种专为移动加速器量身定制的注意力块，可实现39%的加速。同时，我们引入了优化的神经架构搜索（NAS）方法，提高了MNv4的搜索效率。UIB，Mobile MQA以及优化后的NAS方法的整合使得我们的MNv4模型成为大部分在移动CPU、DSP、GPU以及专用加速器（如Apple Neural Engine和Google Pixel EdgeTPU）上都达到Pareto最优的模型，这是其他模型不具备的特点。最后，为了进一步提高准确性，我们引入了一种新颖的蒸馏技术。利用这种技术增强，我们的MNv4-Hybrid-Large模型在Pixel 8 EdgeTPU上只需3.8ms的运行时间，达到了87%的ImageNet-1K准确性。