本文系统研究了模型的缩放并提出了一种基于网络深度、宽度和分辨率的平衡方法，进而使用神经架构搜索设计了一种新的基线网络并扩展成一系列模型，称为 EfficientNets，这些 EfficientNets 在多项测试中取得了更好的准确性和效率，包括在 ImageNet 数据集上达到了 84.3% 的 top-1 准确率，在成为当前最佳的 ConvNet 的推理速度比其快 6.1 倍、参数更少的情况下，这是一个领先的结果。

May, 2019

本篇论文通过对 EfficientNet 图像分类器的性能进行了详细分析，提出了一种修复训练集和测试集图像不一致问题的新训练方法 FixEfficientNet，并以 ImageNet 数据集进行了测试，证明了 FixEfficientNet 在相同参数下性能明显优于原始架构。

Mar, 2020

介绍了一种轻量级、低功耗、通用卷积神经网络，用于建模视觉和序列数据。通过使用组点智慧和深度智慧扩张分离卷积学习来自更大有效感受野的表示方法，实现更少浮点计算和参数。实验结果表明，ESPNetv2 在物体分类、语义分割、物体检测和语言建模四个任务中均优于现有的最先进方法，且比 ESPINet 快 4-5％，在 PASCAL VOC 和 Cityscapes 数据集上的 FLOPS 少 2-4 倍。与 MS-COCO 物体检测的 YOLOv2 相比，ESPNetv2 在 6 倍以下的 FLOPS 下提供了 4.4％的更高精度，且功耗更低。

Nov, 2018

本文提出了一种名为 RepVGG 的卷积神经网络架构，通过结构重参数化技术实现了训练时和推理时架构的解耦，并在 ImageNet 上取得了超过 80％的 top-1 精度。与现有的 EfficientNet 和 RegNet 等模型相比，RepVGG 模型具有更快的速度和更好的精度 - 速度平衡。

Jan, 2021

通过优化现有的深度神经网络 (DNN)，减小模型大小并减少内存利用，提高硬件利用率，并在资源受限的边缘环境中便于设备内训练。在 Caltech-101 图像分类和 PCB 缺陷检测实验中，我们的模型表现优于原始模型 Xception 和轻量级模型 EfficientNetV2B1 和 MobileNetV2，在测试准确性、内存利用和训练推断时间等方面都取得了较好的结果，同时满足精确性和低内存利用率目标。

Mar, 2024

本文介绍了一种高效的纯 Transformer 设计方法 EfficientFormer，用于实现与 MobileNet 相当的性能且具有极低的推理延迟，它通过解决 ViT 中的存储器冗余问题来达到这一目的。

Jun, 2022

本文介绍了 MobileNets 这一基于深度可分离卷积的轻量级深度神经网络架构，提出了利用全局超参数在时延和准确性之间平衡的方法，并在图像分类等多个领域进行了广泛实验。

Apr, 2017

介绍了基于 ImageNet 预训练的卷积神经网络（CNNs）在最先进的方法中的应用，提出了一组新的基于 Caffe 框架的著名最新结构的预训练模型，并且包括 ResNets、AlexNet 和 VGG19 的批归一化变体等模型，优于以前的具有相同架构的模型。

Dec, 2016

本篇论文主要研究了如何利用适当分解卷积和激进的正则化等方法，使卷积神经网络计算效率最大化，并以 ILSVRC2012 分类挑战作为基准，报告了使用少于 2500 万参数的 5 亿乘加运算成本的网络，评估单帧评估的 top-1 误差 21.2％和 top-5 误差 5.6％的显著成果。

Dec, 2015

本研究提出了新的 MobileNetV2 架构，通过在多个任务和基准上的性能改进，跨不同模型尺寸范围提高了移动模型的性能；此外，通过称为 SSDLite 的新颖框架来应用这些移动模型进行目标检测；最后，我们构建轻量级的 Mobile DeepLabv3 来进行移动语义分割。

Jan, 2018