Feb, 2020

批量归一化使深度网络中残差块偏向于恒等函数

PDF
TL;DR通过初始化时将剩余分支与跳过连接相比，批归一化可以缩小深度神经网络的剩余分支，从而通过将归一化因子放在网络深度的平方根上，确保在训练早期，深度网络中的标准化剩余块计算的函数接近于恒等函数，这是批归一化可以显着提高残差网络最大可训练深度的关键原因之一，并且已经关键地促成了深度残差网络在广泛的基准测试上的实证成功。同时，我们还提出了一种不需要归一化即可训练深度残差网络的简单初始化方案，并且对残差网络进行了详细的实证研究，阐明了虽然批归一化网络可以使用更高的学习率进行训练，但这种影响只有在特定计算范围内才是有利的，并且在批大小较小时几乎没有任何好处。
发现论文，激发创造
  • 残差网络的损失函数表面：集成和批归一化的作用

    本文表明深残差网络（Deep Residual Networks）可以视作一系列相对较浅网络的集合，并通过广义自旋玻璃模型分析其优化过程中的临界点数量及 Batch Normalization 技术等因素对网络深度动态变化的影响。

    Nov, 2016

  • 规范化保存：为什么残差网络可以变得非常深？

    这份研究分析了 ResNet 的跳跃连接的效应，并提出了新理论结果，证明残差块中的跳跃连接方便保留梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。研究还提出了一种新方法，Procrustes ResNets，来优化 ResNet 的过渡层，使其范数保持得更好。这些结果可以用来训练更深的网络，并启发新的深层网络架构。

    May, 2018

  • 深度学习中的身份问题

    该研究提出了深度学习中的 identity parameterization 理论，从理论和实验方面探讨了残差网络的优越性，证明了含 ReLU 激活的残差网络在可表示样本函数的有限表达能力方面优于单纯的前馈网络，并提出了不含 batch normalization, dropout 或 max pool 的残差卷积层和 ReLU 激活的新型网络架构，在 CIFAR10，CIFAR100 和 ImageNet 分类基准测试中表现显著提高。

    Nov, 2016

  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018

  • 批量标准化：通过减少内部协变量漂移加速深层神经网络训练

    该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。

    Feb, 2015

  • 深度残差网络中的身份映射

    通过对深度残差网络的构建块传播表达式的分析，本文提出了一种新的残差单元，使用 identity mappings 作为跳跃连接和添加激活后，可以让前向和反向信号直接从一个块传播到任何其他块，这样可以使训练更容易并提高泛化性能。最终，我们在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了更好的结果。

    Mar, 2016

  • 批量归一化解释

    批量归一化是一种无监督的学习技术，它适应了深度神经网络的样条分区来匹配数据，缩小了训练样本和决策边界之间的边距，从而减少了过拟合，提高了泛化性能。

    Sep, 2022

  • ResNets 中的残留缩放优化信号传播

    通过有限尺寸理论，研究残差网络的信号传播及其依赖残差分支的伸缩，发现最优伸缩参数范围在最大灵敏度范围内，并给出一个理论框架指导 ResNets 的最优伸缩。

    May, 2023

  • 使用规模标准化实现差分隐私残差网络训练

    本研究提出通过添加 ScaleNorm 的简单架构调整方法，在残差网络中使用 Group Normalisation 来改善由 Differentially Private Stochastic Gradient Descent 训练的神经网络的精度和隐私保护之间的 trade-off，并在 CIFAR-10 中取得 82.5%（ε =8.0）的准确度。

    Mar, 2022

  • 特征化信号传播以缩小未标准化 ResNets 性能差距

    该研究介绍了一种能够设计高效 ResNets 网络的分析工具，通过采用一种改进后的 Weight Standardization 技术，该分析工具的作用在于确保具有 ReLU 或 Swish 激活函数的信号在网络的深度方向上不发生偏移以达到在 FLOP 预算范围内与当今最先进的 EfficientNets 在 ImageNet 上的性能竞争可比性。

    Jan, 2021