Nov, 2016

残差网络的损失函数表面：集成和批归一化的作用

PDF
TL;DR本文表明深残差网络（Deep Residual Networks）可以视作一系列相对较浅网络的集合，并通过广义自旋玻璃模型分析其优化过程中的临界点数量及 Batch Normalization 技术等因素对网络深度动态变化的影响。
deep residual networkstrainable at extreme depthsbatch normalizationgeneralized spin glass modelsnumber of critical points
发现论文，激发创造
  • 残差网络表现得像相对较浅的网络集合

    本文提出了新颖的残差网络解释方式，将其看作是许多不同长度路径的集合，并且只需要在训练过程中利用短路径就可以实现很深的网络。通过病变研究，揭示了残差网络中路径呈现集合的行为，不是强依赖于彼此。

    May, 2016

  • 批量归一化使深度网络中残差块偏向于恒等函数

    通过初始化时将剩余分支与跳过连接相比，批归一化可以缩小深度神经网络的剩余分支，从而通过将归一化因子放在网络深度的平方根上，确保在训练早期，深度网络中的标准化剩余块计算的函数接近于恒等函数，这是批归一化可以显着提高残差网络最大可训练深度的关键原因之一，并且已经关键地促成了深度残差网络在广泛的基准测试上的实证成功。同时，我们还提出了一种不需要归一化即可训练深度残差网络的简单初始化方案，并且对残差网络进行了详细的实证研究，阐明了虽然批归一化网络可以使用更高的学习率进行训练，但这种影响只有在特定计算范围内才是有利的，并且在批大小较小时几乎没有任何好处。

    Feb, 2020

  • 多重残差网络：提高残差网络的速度和准确性

    本文提出了一种新的卷积神经网络架构，该架构通过扩展残差网络的层数，明确利用非常深网络的集成表现，并使模型变宽而不是更深，从而显著提高了准确性。受多元残差网络的并行结构启发，本研究还探讨了一种模型并行技术，该技术使残差块的计算分布在处理器之间，计算复杂度提高了 15%。最后，我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。

    Sep, 2016

  • 从动力系统观点设计的多层残差网络

    本文提出使用动力学系统视角来分析残差网络损伤特性，基于这些分析引入一种新的方法来加速残差网络的训练，并将该方法应用于图像分类等多个任务。

    Oct, 2017

  • 深度残差网络和权重初始化

    本篇论文分析了 ResNet 的简化模型，并认为 ResNet 的好处与其对初始权重的选择较为不敏感有关系。此外，本文还演示了如何利用批归一化提高深度 ResNets 的反向传播能力，而无需调整初始权重值。

    Sep, 2017

  • 深度残差网络用于图像识别

    本文提出了一种残差学习框架，以优化超过 VGG 网络 8 倍深度的残差网络在 ImageNet 数据集上的分类任务，以及在 COCO 目标检测数据集上取得了 28% 的相对提升。

    Dec, 2015

  • 深度残差网络的缩放性质

    通过数值实验，我们研究了 Residual 网络的权重性质和与深度有关的规模，在某些网络结构下得到了另一种常微分方程的极限，这表明了深度 ResNets 的极限模型不完全适用于神经正则微分方程。

    May, 2021

  • 规范化保存：为什么残差网络可以变得非常深？

    这份研究分析了 ResNet 的跳跃连接的效应，并提出了新理论结果，证明残差块中的跳跃连接方便保留梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。研究还提出了一种新方法，Procrustes ResNets，来优化 ResNet 的过渡层，使其范数保持得更好。这些结果可以用来训练更深的网络，并启发新的深层网络架构。

    May, 2018

  • Wider or Deeper: 重新审视 ResNet 模型在视觉识别中的应用

    本文探讨增加深度对神经网络性能提升的边际效益递减问题，提出一种更高效的残差网络结构并在图像分类和语义分割等领域实现了显著优越性能。

    Nov, 2016

  • ResNets 是否可证明比线性预测器更好？

    本文通过严谨的证明表明，深度残差单元的非线性残差确实表现出了优化行为，并且极小化问题形成凸起，并证明了当在标准随机梯度下降训练网络时可以实现比任何线性预测器更好的目标值。

    Apr, 2018