通过批量归一化模型中分离变化模式以加速训练
本文提出了一种称为 Batch Kalman Normalization(BKN)的新型规范化方法,通过考虑其前面所有层的分布来估计某个层的统计信息来改善和加速训练深度神经网络,特别是在微批处理的情况下,实现了更稳定的训练和更快的收敛速度。
Feb, 2018
本文提出了组归一化(GN)作为批量归一化(BN)的一种简单替代方案,GN 可解决 BN 在小批量大小下估计错误的问题,稳定性高且可应用于多种计算机视觉任务,如目标检测和图像分割。
Mar, 2018
提出了一种使用广义偏差测量的 Batch Normalization(BN)变换,与传统的 BN 相比,它通过使用风险理论和量化风险管理的最新概念,加速神经网络训练的收敛速度,在结合 ReLU 非线性时,可以自然选择偏差测量和统计,实验证明在保持错误率方面与传统 BN 相比有所提高,总体而言,为设计选择提供了一个更灵活的 BN 变换。
Dec, 2018
研究表明,在分布式学习中,Batch Normalization 和 Group Normalization 并没有明显差异,而 Batch Normalization 可以用于更广泛的分布式学习设置中。
Mar, 2023
通过对神经网络的基本结构进行分析,我们发现批量标准化通过人口标准化和 gamma 衰减作为显式正则化来实现隐式正则化,可以提高训练收敛性和泛化性,同时提供了学习动力学和正则化的学习方法,这一理论与实验证明了在卷积神经网络中批量标准化和上述分析具有相同的正则化特性。
Sep, 2018
本文提出了一种扩展 Batch Normalization 的灵活方法,通过将归一化扩展到不止一个均值和方差,我们能够实时检测数据模式并联合归一化具有共同特征的样本。实验结果表明,我们的方法在单任务和多任务数据集上优于 BN 和其他广泛使用的归一化技术。
Oct, 2018
通过对 Batch Normalization 层中的权重向量空间进行 Riemannian 测量,从而提出了一种新学习规则,并利用几何特性进行了优化,成功地提高了在各种网络结构和数据集上的性能。
Sep, 2017
本文提出了一种基于多个最近批次来获取更准确、更稳健统计的 Memorized Batch Normalization (MBN),并使用 Double-Forward scheme 来缓解分布漂移问题,相较于现有的方法,在训练和推理中表现更加稳定,并显著提高了模型的泛化性能。
Oct, 2020