Inception-v4，Inception-ResNet 和残差连接对学习的影响

Feb, 2016

Inception-v4，Inception-ResNet 和残差连接对学习的影响

Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, Alex Alemi

TL;DR本研究发现在 Inception 网络中加入残差连接有助于加速训练并提高图像识别性能，同时还提出了几种优化的网络结构，实验结果在 ILSVRC 2012 分类任务中取得了显著的性能提升。

Abstract

Very deep convolutional networks have been central to the largest advances in image recognition performance in recent years. One example is the Inception architecture that has been shown to achieve very good performance at relatively low computational cost. Recently, the introduction o

convolutional networks inception architecture residual connections ilsvrc challenge imagenet classification

发现论文，激发创造

残差连接鼓励迭代推断

研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

Oct, 2017

深度残差网络用于图像识别

本文提出了一种残差学习框架，以优化超过 VGG 网络 8 倍深度的残差网络在 ImageNet 数据集上的分类任务，以及在 COCO 目标检测数据集上取得了 28% 的相对提升。

Dec, 2015

Wider or Deeper: 重新审视 ResNet 模型在视觉识别中的应用

本文探讨增加深度对神经网络性能提升的边际效益递减问题，提出一种更高效的残差网络结构并在图像分类和语义分割等领域实现了显著优越性能。

Nov, 2016

可视化残差网络

本篇论文通过定性视觉和实证分析，研究残差网络中残差跳转连接的作用，揭示残差跳转连接强制不同层次的卷积层区分特征的实际意义，证明残差网络遵循卷积神经网络慢慢学习局部特征并学习整个物体全局特征的普适性。

Jan, 2017

ResNet 为什么有效？残差可以泛化

本文研究残差连接对神经网络假设空间覆盖数以及泛化能力的影响，证明了哪怕是固定了权重矩阵和非线性函数的总数，残差连接不会增加神经网络的假设复杂性，并基于假设空间覆盖数得到了 ResNet 等采用残差连接的深度神经网络的多类泛化界。根据此泛化界，我们可以使用正则化项控制权重矩阵的模不要过度增大，以尽量达到良好的泛化性能。

Apr, 2019

多重残差网络：提高残差网络的速度和准确性

本文提出了一种新的卷积神经网络架构，该架构通过扩展残差网络的层数，明确利用非常深网络的集成表现，并使模型变宽而不是更深，从而显著提高了准确性。受多元残差网络的并行结构启发，本研究还探讨了一种模型并行技术，该技术使残差块的计算分布在处理器之间，计算复杂度提高了 15%。最后，我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。

Sep, 2016

连接残差学习、循环神经网络和视觉皮层之间的差距

研究深度残差网络（ResNet）、循环神经网络（RNN）和灵长类视觉皮层之间的关系。作者提出了一种将浅层 RNN 与 ResNet 进行结合以及一种基于 RNN 的新型神经网络架构，并通过对 CIFAR-10 和 ImageNet 数据集的测试证明了其有效性。

Apr, 2016

深层残差学习用于弱监督下的关系抽取

本文中，我们设计了一种使用残差学习的卷积神经网络，并研究了其对于嘈杂的远程监督关系抽取任务的影响，结果表明即使在只有 9 层 CNN 的情况下，使用恒等映射也可以显著提高远程监督关系抽取的性能。

Jul, 2017

深度残差网络中学习严格身份映射

本文提出一种名为 epsilon-ResNet 的深度学习网络，通过单次训练中的层选取达到在图像识别等多个领域中达到与超深残差网络相当甚至更好的性能，同时减少了 80% 左右的参数数量。

Apr, 2018

卷积残差记忆网络

通过在卷积残差网络中引入长短时记忆机制，增强了记忆机制加强卷积神经网络的性能，使得该方法在 CIFAR-100 基准测试上优于其他最先进的技术，并且在 CIFAR-10 和 SVHN 基准测试上与之相当，而且相比于深度相当的深度残差神经网络，网络宽度更大，深度更小，总体计算量更少。

Jun, 2016