我们提出了可切换归一化（SN）来解决深度神经网络中学习正常化的问题。它有三个不同的范围来计算统计量（均值和方差），包括通道、层和 mini-batch。SN 通过学习它们的重要性权重来在它们之间切换。它适应各种网络架构和任务，对各种具有挑战性的基准如 ImageNet 表现非常出色，并且没有敏感的超参数。

Jul, 2019

本文提出可切换标准化（SN），通过学习为深度神经网络的不同标准化层选择不同的标准化器来解决学习标准化问题。 SN 在计算统计量（均值和方差）时使用三个不同的范围，包括通道，层和批处理，并通过学习它们的重要性权重来在它们之间切换，从而能适应各种网络架构和任务，并且不会受到宽范围批量大小的影响，具有很强的稳健性。 SN 不需要敏感的超参数搜索，而且在各种挑战性的基准测试中具有良好的性能，例如 ImageNet，COCO，CityScapes，ADE20K 和 Kinetics。作者也进行了分析，希望 SN 能够有助于使用和理解深度学习中的标准化技术。

Jun, 2018

本文提出了一种扩展 Batch Normalization 的灵活方法，通过将归一化扩展到不止一个均值和方差，我们能够实时检测数据模式并联合归一化具有共同特征的样本。实验结果表明，我们的方法在单任务和多任务数据集上优于 BN 和其他广泛使用的归一化技术。

Oct, 2018

该研究探索在图像隐写分析中，基于深度学习的技术，使用批量归一化和共享归一化提高原有模型的性能，并实验证明所提出的共享归一化技术在图像隐写分析中有稳定的表现且优于之前的方法。

Nov, 2017

本文提出了一项引理来解释多种神经网络中的归一化方法，从而能够在统一的框架下解释归一化的概念。我们的结论是，这些归一化方法能够让权重的范数增大，可能会造成攻击性漏洞的风险，同时，证明这些归一化方法可以帮助稳定网络训练。

Jun, 2020

本文提出了一种基于 Sigmoid 函数和分组归一化的 Instance-Layer Normalization (ILN) 层，用于 DCNN 的浅层特征图融合。使用 U-Net 作为 DCNN 架构以右心室和左心室的图像分割为例，验证了 ILN 在各种常见规格网络上的有效性，优于传统的与流行的归一化方法。

Aug, 2019

本文提出一种称为上下文归一化的新的归一化技术，用于图像数据。这种方法基于每个样本的特征调整特征的缩放，通过使数据值适应目标任务的上下文来提高模型的收敛速度和性能。在各种数据集上展示了上下文归一化的有效性，并将其性能与其他标准归一化技术进行了比较。

Mar, 2023

该研究提出了一种新的规范化技术称为批次通道规范化（BCN），它结合了批次归一化（BN）和层归一化（LN）的优势，并可以应用于计算机视觉领域中的各种应用。

Dec, 2023

本文研究了神经网络（NN）和自然语言处理 (NLP) 中的标准归一化方法 —— 层归一化 (LN) 和在计算机视觉中广泛应用的批归一化（BN）之间的区别，分析了使用 BN 进行 NLP 任务时性能下降的原因，提出了一种通过放宽 BN 中的零均值正则化，引入运行时二次平均值稳定批次间波动并在前向传递中引入运行时高斯噪声的新型 Lp 归一化方法 (PN)，比 LN 和 BN 都表现更好。

Mar, 2020

Instance Enhancement Batch Normalization proposes a self-attention mechanism to regulate the noise of Batch Normalization via enhancing instance-specific information, and it outperforms BN in image classification tasks with only a light parameter increment.

Aug, 2019