Mar, 2021

重新审视 ResNets：改进的训练和扩展策略

PDF
TL;DR本文重新研究了经典的 ResNet 模型，并重点讨论了模型架构、训练方法和扩展策略对模型性能的影响。作者发现，训练方法和扩展策略可能比模型架构的变化更重要，同时作者提出了两种新的扩展策略，并设计了一系列 ResNet 架构。实验结果表明，这些简单修改的 ResNet 模型比 EfficientNet 更快，且在 ImageNet 上达到了类似的准确性，同时在半监督学习和下游任务转移学习上也有显著提升。
发现论文，激发创造
  • 重访 3D ResNets 用于视频识别

    通过 3D ResNets 的简单缩放策略和优化的训练策略，以及轻微的架构改变，提高了视觉识别模型的性能，得到了 81.0 和 83.8 的竞争性表现，无需预训练，并通过自监督学习进一步改进表现。

    Sep, 2021

  • EfficientNet: 重新思考卷积神经网络的模型缩放

    本文系统研究了模型的缩放并提出了一种基于网络深度、宽度和分辨率的平衡方法，进而使用神经架构搜索设计了一种新的基线网络并扩展成一系列模型，称为 EfficientNets，这些 EfficientNets 在多项测试中取得了更好的准确性和效率，包括在 ImageNet 数据集上达到了 84.3% 的 top-1 准确率，在成为当前最佳的 ConvNet 的推理速度比其快 6.1 倍、参数更少的情况下，这是一个领先的结果。

    May, 2019

  • 目标检测的简单训练策略和模型扩展

    本文研究物体检测系统的速度和准确率损失函数，并通过改进模型架构、训练技术等方法，将模型的准确率提升了 7.7％，速度提升了 30％。作者继续提出了简单的缩放策略来探索速度和准确性之间的权衡，产生了两个 Pareto 曲线。最后，作者显示出 ResNet 架构在检测和实例分割系统中的性能要优于 EfficientNet。

    Jun, 2021

  • 大型小批量 SGD 扩展：改进准确性和减少训练时间的 ImageNet-1K 上残差网络训练

    本文探讨了在 petaflop 级超级计算机上训练 ResNet-50 的挑战和新解决方案，最终展示了高达 90％的扩展效率和 28 分钟的训练时间。同时介绍了 Collapsed Ensemble (CE) 技术，使得在相同的固定训练预算下，使用未修改的 ResNet-50 拓扑结构可以获得高达 77.5％的准确率，类似于 ResNet-152。

    Nov, 2017

  • ResNet 归来：一种改进的 timm 训练过程

    本文重新评估了使用新的优化和数据增强方法训练的基准 ResNet-50 模型的性能，并以此为基线，在 ImageNet 数据集上获得了 80.4％的 top-1 准确率，同时提供了预训练模型和更好的训练设置。

    Oct, 2021

  • 用于全景分割的宽残差网络的扩展

    本文重新设计 Wide-ResNets 的架构用于最新的全景分割任务，通过简单且有效的 Squeeze-and-Excitation 和 Switchable Atrous Convolution 结合调整网络的宽度和深度，形成了一系列 SWideRNets 并通过网格搜索得到了多种在快速和强大模型方案下都可以显著提高全景分割数据集状态的 SWideRNets。

    Nov, 2020

  • 运行时高效图像识别的分辨率可切换网络

    提出一种单卷积神经网络通用的方法，在推理时可以切换图像分辨率，从而可以选择满足各种计算资源限制的运行速度。用该方法训练的网络称为分辨率切换网络（RS-Nets）。通过多分辨率蒸馏和知识蒸馏，RS-Nets 在各种分辨率下的准确性得到了提高。

    Jul, 2020

  • 快速准确的模型缩放

    本文探讨卷积神经网络的扩展策略，指对基础卷积网络进行扩展以赋予其更高的表征能力。作者提出一种快速且简单的复合扩展策略，旨在主要扩展模型的宽度，而稍微扩展其深度和分辨率。实验结果表明，许多扩展策略可以产生类似的精度，但其性能却各异。该研究为在各种计算约束下分析和选择缩放策略提供了框架。

    Mar, 2021

  • Resnet in Resnet：广义残差连接结构

    介绍了一个深度双流架构 Resnet in Resnet（RiR），该架构推广了 Residual networks（ResNets）和标准 CNNs，且无计算开销，通过在 CIFAR-10 上实现，RiR 不断提高性能、在 CIFAR-100 上创新了新的最优结果

    Mar, 2016

  • 神经元的高效缩放：资源受限深度神经网络

    本文提出了一种名为 NeuralScale 的算法，该算法使用了迭代剪枝方法控制神经网络的大小和参数，进而优化了固定神经网络的结构和配置，经过实验得出，NeuralScale 在参数约束的情况下，与默认配置相比，在 CIFAR10、CIFAR100 和 TinyImageNet 的数据集上分别增加了 3.04％，8.56％和 3.41％的准确性，取得了优异的表现。

    Jun, 2020