Oct, 2023

RRR-Net：重用、减少和循环利用深度骨干网络

PDF
TL;DR从一种大型的 ResNet152 骨干网络开始，本文通过将其从 51 个块降至 5 个块，将参数和 FLOPs 的数量降低了 6 倍以上，同时保留了性能，然后在 3 个块之后将模型分割为多个分支，创建一个子网络组合以提高性能。在 40 个图像分类数据集上的实验证明，本文的技术在与 “经典骨干微调” 相当甚至更好的性能的同时，实现了更小的模型尺寸和更快的推理速度。
backbone networkspre-trainedresnet152model sizefaster inference speed
发现论文，激发创造
  • 选择何种骨干网络：面向计算机视觉的资源高效领域比较

    该研究评估了多个轻量级、预训练的 CNN 骨干网络在各种不同数据集上的性能，包括自然图像、医学图像、星系图像和遥感图像，并提供了关于计算机视觉领域不同骨干网络性能和有效性的可行见解，为模型选择提供指导。

    Jun, 2024

  • ShaResNet: 共享权重减少残差网络参数数量

    本文通过共享同一空间尺度下的残差块中卷积层的权重，提出了一种名为 ShaResNet 的深度残差网络，使网络参数得到显著减少，同时在图像分类任务中保证了准确率。

    Feb, 2017

  • ResNet 归来：一种改进的 timm 训练过程

    本文重新评估了使用新的优化和数据增强方法训练的基准 ResNet-50 模型的性能，并以此为基线，在 ImageNet 数据集上获得了 80.4％的 top-1 准确率，同时提供了预训练模型和更好的训练设置。

    Oct, 2021

  • 利用图像分类特征恰当复用提升物体检测

    研究表明，在目标检测中固定经初始化的特征提取器可有效提高检测模型的性能，并节省计算资源。

    Apr, 2022

  • 具有批量归一化的 ImageNet 预训练模型

    介绍了基于 ImageNet 预训练的卷积神经网络（CNNs）在最先进的方法中的应用，提出了一组新的基于 Caffe 框架的著名最新结构的预训练模型，并且包括 ResNets、AlexNet 和 VGG19 的批归一化变体等模型，优于以前的具有相同架构的模型。

    Dec, 2016

  • IamNN：用于高效图像分类的迭代自适应移动神经网络

    本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络，该网络比原始网络更小，能够根据输入图像的复杂性调整计算成本。

    Apr, 2018

  • 组合技术提升卷积神经网络性能

    本研究通过将现有的几种技术组合应用到基本的卷积神经网络模型（如 ResNet 和 MobileNet）中，验证了这种仔细汇编技术的方法可以提高模型的准确性和鲁棒性，从而最小化吞吐量的损失。该方法在图像分类、细粒度分类和图像检索任务的公共数据集上证明了显著的性能提升，且在 CVPR 2019 中 iFood 竞赛的细粒度视觉识别中获得了第一名。

    Jan, 2020

  • 重新思考 Inception 架构在计算机视觉中的应用

    本篇论文主要研究了如何利用适当分解卷积和激进的正则化等方法，使卷积神经网络计算效率最大化，并以 ILSVRC2012 分类挑战作为基准，报告了使用少于 2500 万参数的 5 亿乘加运算成本的网络，评估单帧评估的 top-1 误差 21.2％和 top-5 误差 5.6％的显著成果。

    Dec, 2015

  • 高效的 ResNets: 残差网络设计

    本研究设计和训练了一个大小不超过 500 万可训练参数的修改版 ResNet 模型用于 CIFAR-10 图像分类，通过一些训练策略和合适的超参数，最终测试准确率达到 96.04％。

    Jun, 2023

  • 大型小批量 SGD 扩展：改进准确性和减少训练时间的 ImageNet-1K 上残差网络训练

    本文探讨了在 petaflop 级超级计算机上训练 ResNet-50 的挑战和新解决方案，最终展示了高达 90％的扩展效率和 28 分钟的训练时间。同时介绍了 Collapsed Ensemble (CE) 技术，使得在相同的固定训练预算下，使用未修改的 ResNet-50 拓扑结构可以获得高达 77.5％的准确率，类似于 ResNet-152。

    Nov, 2017