层归一化
本篇论文详细研究了批量归一化在训练神经网络中的作用,以及其与其他优化方法的比较,主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。
Aug, 2020
该论文讨论了深度神经网络训练中的内部协变量漂移问题,并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化,解决了此问题,在 Image Classification 上取得了优秀的表现。
Feb, 2015
本文提出一种归一化技术 —— 分裂归一化法,包括批归一化和层归一化,并发现在使用这种技术时结合对激活函数的稀疏正则化可以提高卷积神经网络和循环神经网络的准确性。
Nov, 2016
该研究探讨了将批归一化应用于循环神经网络的效果,结果发现在输入到隐藏层的转换中,批归一化可以加快训练收敛速度,但对于语言建模和语音识别任务上的泛化能力没有提高;同时,应用批归一化到 RNNs 比应用到前馈网络更具有挑战性,但是某些变体仍然是有益的。
Oct, 2015
介绍了一种新的归一化层 Batch Layer Normalization(BLN),可以在深度神经网络中减少内部协变量偏移问题,通过适应性的权衡 mini-batch 和特征标准化,并且具有比批归一化和层归一化更快的收敛速度。
Sep, 2022
本文探讨了批量归一化(BatchNorm)对深度神经网络(DNN)训练的影响及原因,发现 BatchNorm 的成功并不在于控制层输入分布的稳定性,而是在于它让优化的过程变得更加平滑,从而使梯度更加稳定和可预测,加快了训练速度。
May, 2018
本文提出了一种称为 Batch Renormalization 的扩展方法,在训练深度学习模型时,在 minibatch 太小或不包含独立样本时,解决模型层输入依赖于 minibatch 所有实例和训练与推理之间存在的差异,同时保持初始化和训练效率等方面的优点。
Feb, 2017
本文提出了一种扩展 Batch Normalization 的灵活方法,通过将归一化扩展到不止一个均值和方差,我们能够实时检测数据模式并联合归一化具有共同特征的样本。实验结果表明,我们的方法在单任务和多任务数据集上优于 BN 和其他广泛使用的归一化技术。
Oct, 2018