批量层归一化，一种用于 CNNs 和 RNN 的新归一化层

Sep, 2022

批量层归一化，一种用于 CNNs 和 RNN 的新归一化层

Batch Layer Normalization, A new normalization layer for CNNs and RNN

Amir Ziaee, Erion Çano

TL;DR介绍了一种新的归一化层 Batch Layer Normalization（BLN），可以在深度神经网络中减少内部协变量偏移问题，通过适应性的权衡 mini-batch 和特征标准化，并且具有比批归一化和层归一化更快的收敛速度。

Abstract

This study introduces a new normalization layer termed Batch Layer Normalization (BLN) to reduce the problem of internal covariate shift in deep neural network layers. As a combined version of batch and layer normalization, BLN adaptively puts appropriate weight on mini-batch and featu

batch layer normalization deep neural networks covariate shift hyper-parameter optimization convergence

发现论文，激发创造

批量卡尔曼归一化：向使用微批次训练深度神经网络迈进

本文提出了一种称为 Batch Kalman Normalization（BKN）的新型规范化方法，通过考虑其前面所有层的分布来估计某个层的统计信息来改善和加速训练深度神经网络，特别是在微批处理的情况下，实现了更稳定的训练和更快的收敛速度。

Feb, 2018

BCN: 批量通道归一化用于图像分类

该研究提出了一种新的规范化技术称为批次通道规范化（BCN），它结合了批次归一化（BN）和层归一化（LN）的优势，并可以应用于计算机视觉领域中的各种应用。

Dec, 2023

批量标准化：通过减少内部协变量漂移加速深层神经网络训练

该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。

Feb, 2015

理解批标准化

本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

Jun, 2018

层归一化

本文提出一种基于层归一化的深度神经网络训练新方法，能够有效稳定循环神经网络中的隐藏状态动态，其训练时间较之前的技术有大幅度降低。

Jul, 2016

组归一化

本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

Mar, 2018

在 BN 反向传播中稳定批统计量

本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本 BN 的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

Jan, 2020

使用实例层规范化的 U-Net 训练

本文提出了一种基于 Sigmoid 函数和分组归一化的 Instance-Layer Normalization (ILN) 层，用于 DCNN 的浅层特征图融合。使用 U-Net 作为 DCNN 架构以右心室和左心室的图像分割为例，验证了 ILN 在各种常见规格网络上的有效性，优于传统的与流行的归一化方法。

Aug, 2019

探究批量归一化在网络中的估计偏移

通过研究批量归一化（BN）中的种群统计估计，提出了一种批量自由归一化（BFN）的方法，进而设计了一种 XBNBlock 来替代深度残差网络中的 BN，以防止估计偏移的积累。在 ImageNet 和 COCO 基准测试上验证，XBNBlock 在各种网络结构下都能显著改善性能，并且对分布转移更具鲁棒性。

Mar, 2022

批量归一化解释

批量归一化是一种无监督的学习技术，它适应了深度神经网络的样条分区来匹配数据，缩小了训练样本和决策边界之间的边距，从而减少了过拟合，提高了泛化性能。

Sep, 2022