Jun, 2019

如何初始化网络？WeightNorm 和 ResNets 的鲁棒初始化

PDF
TL;DR本文研究权重规范化神经网络的参数初始化策略，通过使用平均场近似方法，提出了一种新的参数初始化策略。通过超过 2500 次实验，本文展示了所提出的初始化方法在图像数据集上具有更好的泛化性能、超参数值鲁棒性和种子之间的变异性。而且，该初始化方法与学习率预热相结合，能减小权重规范化神经网络与批量规范化神经网络之间性能的差距。
resnetweight normalizationparameter initializationmean field approximationgeneralization performance
发现论文，激发创造
  • 深度残差网络和权重初始化

    本篇论文分析了 ResNet 的简化模型，并认为 ResNet 的好处与其对初始权重的选择较为不敏感有关系。此外，本文还演示了如何利用批归一化提高深度 ResNets 的反向传播能力，而无需调整初始权重值。

    Sep, 2017

  • 如何开始训练：初始化和架构的影响

    本文针对深度 ReLU 神经网络早期训练的两种常见失效模式进行研究和识别，为每种模式提供了严格的证明以及如何避免。我们证明了正确的权重初始化以及架构可以使得深层神经网络成功训练，并在实验中证实了我们的理论结果的有效性。

    Mar, 2018

  • 特征化信号传播以缩小未标准化 ResNets 性能差距

    该研究介绍了一种能够设计高效 ResNets 网络的分析工具，通过采用一种改进后的 Weight Standardization 技术，该分析工具的作用在于确保具有 ReLU 或 Swish 激活函数的信号在网络的深度方向上不发生偏移以达到在 FLOP 预算范围内与当今最先进的 EfficientNets 在 ImageNet 上的性能竞争可比性。

    Jan, 2021

  • 修正初始化：无标准化的残差学习

    本文提出了一种名为 Fixup 的初始化算法来解决神经网络中的梯度消失和梯度爆炸的问题，并证明了该算法与标准的 normalization 算法在训练深层网络方面的稳定性相当。同时，该算法还能够使没有使用 normalization 的残差网络在图像分类和机器翻译方面获得最先进的性能。

    Jan, 2019

  • 只需一个良好的初始化

    提出了层顺序单元方差（LSUV）初始化 —— 一种用于深度学习网络权重初始化的简单方法，它包括两个步骤：使用正交矩阵预初始化每个卷积或内积层的权重，然后从第一层到最后一层，将每一层输出的方差标准化为 1。研究表明，该初始化方法使学习非常深的神经网络成为可能，其表现至少不逊于专门为此设计的复杂方案，并能在 MNIST、CIFAR-10/100 和 ImageNet 等数据集上实现接近最新水平的性能。

    Nov, 2015

  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 深度神经网络中的权重初始化

    本文阐述了权重初始化对神经网络收敛的关键性，通过研究非线性激活函数的影响，提出了一种通用的权重初始化策略，并解释了为什么 Xavier 初始化在 Rectified Linear Unit 激活函数下效果不佳。

    Apr, 2017

  • 针对点卷积神经网络的方差感知型权重初始化

    本文提出了一种统一多种连续卷积的框架，并介绍了一种基于方差的权重初始化策略，能够在学习面对点云时避免批标准化的缺陷，并实现与批标准化类似或更好的性能。

    Dec, 2021

  • 非常深层网络的加权残差

    本文介绍了一种加权残差网络，解决了原有残差网络在极深的情况下难以收敛的问题，由于该网络可以有效高效地组合来自不同层的残差，因此使得算法准确性和收敛速度都有了一致的提高。

    May, 2016

  • 权重归一化：一种简单的重参数化方法加速深度神经网络训练

    本研究介绍了一种重量归一化方法，通过重新参数化神经网络中的权向量来改善优化问题的条件，并加速随机梯度下降的收敛速度，从而可以应用于各种模型和应用中，如 LSTMs，神经网络生成模型和深度强化学习。

    Feb, 2016