多重残差网络：提高残差网络的速度和准确性

Sep, 2016

多重残差网络：提高残差网络的速度和准确性

Multi-Residual Networks: Improving the Speed and Accuracy of Residual Networks

Masoud Abdi, Saeid Nahavandi

TL;DR本文提出了一种新的卷积神经网络架构，该架构通过扩展残差网络的层数，明确利用非常深网络的集成表现，并使模型变宽而不是更深，从而显著提高了准确性。受多元残差网络的并行结构启发，本研究还探讨了一种模型并行技术，该技术使残差块的计算分布在处理器之间，计算复杂度提高了 15%。最后，我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。

Abstract

In this article, we take one step toward understanding the learning behavior of deep residual networks, and supporting the observation that deep residual networks behave like ensembles. We propose a new convolutional ne

deep residual networks convolutional neural network residual functions model parallelism imagenet classification

发现论文，激发创造

深度残差网络用于图像识别

本文提出了一种残差学习框架，以优化超过 VGG 网络 8 倍深度的残差网络在 ImageNet 数据集上的分类任务，以及在 COCO 目标检测数据集上取得了 28% 的相对提升。

Dec, 2015

宽残差网络

通过对 ResNet 模块架构的详细实验研究，本文提出了一种新的网络架构 —— 宽残差网络 (WRNs)，通过降低深度、增加宽度优化 ResNet 网络，证明其在准确度和效率上优于传统的浅而深层的残差网络模型，实现了在 CIFAR, SVHN, COCO 以及 ImageNet 等数据集上的准确度和效率的新突破。

May, 2016

Wider or Deeper: 重新审视 ResNet 模型在视觉识别中的应用

本文探讨增加深度对神经网络性能提升的边际效益递减问题，提出一种更高效的残差网络结构并在图像分类和语义分割等领域实现了显著优越性能。

Nov, 2016

深度残差神经网络的分层并行训练

该论文提出了一种基于多格迭代和并行计算的新型深度神经网络训练算法，和传统的序列前向、后向传播不同，该方法使神经网络的训练过程具备了层间的并行性，并取得了与传统方法相当的训练性能。

Dec, 2018

卷积残差记忆网络

通过在卷积残差网络中引入长短时记忆机制，增强了记忆机制加强卷积神经网络的性能，使得该方法在 CIFAR-100 基准测试上优于其他最先进的技术，并且在 CIFAR-10 和 SVHN 基准测试上与之相当，而且相比于深度相当的深度残差神经网络，网络宽度更大，深度更小，总体计算量更少。

Jun, 2016

深金字塔残差网络

探索使用逐渐增加特征映射维度的方式，提高深度残差神经网络的泛化能力，并提出了一种新的残差单元，增强了其分类准确性；实验表明，与原始的残差网络相比，该网络结构具有更好的泛化能力。

Oct, 2016

非常深层网络的加权残差

本文介绍了一种加权残差网络，解决了原有残差网络在极深的情况下难以收敛的问题，由于该网络可以有效高效地组合来自不同层的残差，因此使得算法准确性和收敛速度都有了一致的提高。

May, 2016

高效的 ResNets: 残差网络设计

本研究设计和训练了一个大小不超过 500 万可训练参数的修改版 ResNet 模型用于 CIFAR-10 图像分类，通过一些训练策略和合适的超参数，最终测试准确率达到 96.04％。

Jun, 2023

残差网络表现得像相对较浅的网络集合

本文提出了新颖的残差网络解释方式，将其看作是许多不同长度路径的集合，并且只需要在训练过程中利用短路径就可以实现很深的网络。通过病变研究，揭示了残差网络中路径呈现集合的行为，不是强依赖于彼此。

May, 2016

IamNN：用于高效图像分类的迭代自适应移动神经网络

本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络，该网络比原始网络更小，能够根据输入图像的复杂性调整计算成本。

Apr, 2018