EfficientNet: 重新思考卷积神经网络的模型缩放

ICMLMay, 2019

EfficientNet: 重新思考卷积神经网络的模型缩放

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

Mingxing Tan, Quoc V. Le

TL;DR本文系统研究了模型的缩放并提出了一种基于网络深度、宽度和分辨率的平衡方法，进而使用神经架构搜索设计了一种新的基线网络并扩展成一系列模型，称为 EfficientNets，这些 EfficientNets 在多项测试中取得了更好的准确性和效率，包括在 ImageNet 数据集上达到了 84.3% 的 top-1 准确率，在成为当前最佳的 ConvNet 的推理速度比其快 6.1 倍、参数更少的情况下，这是一个领先的结果。

Abstract

convolutional neural networks (ConvNets) are commonly developed at a fixed resource budget, and then scaled up for better accuracy if more resources are available. In this paper, we systematically study model scaling

convolutional neural networks model scaling efficientnets neural architecture search transfer learning

发现论文，激发创造

神经元的高效缩放：资源受限深度神经网络

本文提出了一种名为 NeuralScale 的算法，该算法使用了迭代剪枝方法控制神经网络的大小和参数，进而优化了固定神经网络的结构和配置，经过实验得出，NeuralScale 在参数约束的情况下，与默认配置相比，在 CIFAR10、CIFAR100 和 TinyImageNet 的数据集上分别增加了 3.04％，8.56％和 3.41％的准确性，取得了优异的表现。

Jun, 2020

EfficientNetV2: 更小的模型和更快的训练

本文介绍了 EfficientNetV2, 这是一种新的卷积网络家族，具有比以前的模型更快的训练速度和更好的参数效率，同时采用了神经结构搜索和缩放相结合的方法，以共同优化训练速度和参数效率。通过逐渐增加图像大小来训练，我们的 EfficientNetV2 在 ImageNet 和 CIFAR / Cars / Flowers 数据集上显著优于以前的模型。

Apr, 2021

重新审视 ResNets：改进的训练和扩展策略

本文重新研究了经典的 ResNet 模型，并重点讨论了模型架构、训练方法和扩展策略对模型性能的影响。作者发现，训练方法和扩展策略可能比模型架构的变化更重要，同时作者提出了两种新的扩展策略，并设计了一系列 ResNet 架构。实验结果表明，这些简单修改的 ResNet 模型比 EfficientNet 更快，且在 ImageNet 上达到了类似的准确性，同时在半监督学习和下游任务转移学习上也有显著提升。

Mar, 2021

卷积神经网络的效率研究

通过优化卷积神经网络架构和使用融合块核心技术，实现了计算效率和准确性的提升。

Apr, 2024

快速准确的模型缩放

本文探讨卷积神经网络的扩展策略，指对基础卷积网络进行扩展以赋予其更高的表征能力。作者提出一种快速且简单的复合扩展策略，旨在主要扩展模型的宽度，而稍微扩展其深度和分辨率。实验结果表明，许多扩展策略可以产生类似的精度，但其性能却各异。该研究为在各种计算约束下分析和选择缩放策略提供了框架。

Mar, 2021

MobileNets：面向移动视觉应用的高效卷积神经网络

本文介绍了 MobileNets 这一基于深度可分离卷积的轻量级深度神经网络架构，提出了利用全局超参数在时延和准确性之间平衡的方法，并在图像分类等多个领域进行了广泛实验。

Apr, 2017

模型魔方：针对 TinyNets 的旋转分辨率、深度和宽度调整

本文通过设计一系列技术，探究获得带有最小模型大小和计算成本的深度神经网络的扭曲规则。TinyNet 通过一系列 EfficientNet-B0 的小型模型总结了一种缩小神经构架的微小公式，并且实验证明 TinyNet-E 的 Top-1 准确率可以高达 59.9％，这比使用反向 Giant 公式的 EfficientNets 更高 1.9％，计算成本相似。

Oct, 2020

重新思考 Inception 架构在计算机视觉中的应用

本篇论文主要研究了如何利用适当分解卷积和激进的正则化等方法，使卷积神经网络计算效率最大化，并以 ILSVRC2012 分类挑战作为基准，报告了使用少于 2500 万参数的 5 亿乘加运算成本的网络，评估单帧评估的 top-1 误差 21.2％和 top-5 误差 5.6％的显著成果。

Dec, 2015

优化心电图分类的神经网络规模

研究使用卷积神经网络 (CNN) 分析心电图 (ECG) 的缩放方法，重点研究了残差神经网络 (ResNet)。通过调整网络的关键参数，如层的深度、通道的数量和卷积核大小，发现较浅的网络、更多的通道和较小的卷积核尺寸对于 ECG 分类等任务具有更好的性能，能够在较少的计算资源或时间下获得更高效准确的模型。

Aug, 2023

大型小批量 SGD 扩展：改进准确性和减少训练时间的 ImageNet-1K 上残差网络训练

本文探讨了在 petaflop 级超级计算机上训练 ResNet-50 的挑战和新解决方案，最终展示了高达 90％的扩展效率和 28 分钟的训练时间。同时介绍了 Collapsed Ensemble (CE) 技术，使得在相同的固定训练预算下，使用未修改的 ResNet-50 拓扑结构可以获得高达 77.5％的准确率，类似于 ResNet-152。

Nov, 2017