该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练mini-batch的操作中进行标准化，解决了此问题，在Image Classification上取得了优秀的表现。

Feb, 2015

介绍了一种用于解决深度神经网络训练中的内部协变量漂移问题的非自适应规范化技术——Normalization Propagation，其利用一种数据独立的参数估计，通过预先规范化激活函数前的数据分布特征，实现了批标准化无法实现的单个Batch的训练，进一步减少了运算复杂性。

Mar, 2016

本文提出了一种称为自适应批量归一化（AdaBN）的方法来提高深度神经网络的泛化能力，无需额外组件或参数，并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。

Mar, 2016

本文提出一种基于层归一化的深度神经网络训练新方法，能够有效稳定循环神经网络中的隐藏状态动态，其训练时间较之前的技术有大幅度降低。

Jul, 2016

本文提出一种归一化技术——分裂归一化法，包括批归一化和层归一化，并发现在使用这种技术时结合对激活函数的稀疏正则化可以提高卷积神经网络和循环神经网络的准确性。

Nov, 2016

本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

Jun, 2018

本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

Aug, 2020

本研究论文提出了一种名为统一批标准化（UBN）的两阶段统一框架，用于解决批标准化（BN）中的特征凝聚问题，并统一各种标准化变体以提高性能和网络训练收敛速度。实验证明，UBN方法能够在不同的视觉背景下显著提升性能，并且在早期训练阶段尤其明显，如在大批量数据上提高了3%的ImageNet分类的top-1准确率，展示了该方法在实际场景中的有效性。

Nov, 2023

深度学习面临的挑战包括内部协变量偏移、标签偏移、梯度消失/爆炸、过拟合和计算复杂性。本文引入基于聚类的规范化方法 (CB-Norm) 的两个变种——有监督聚类规范化 (SCB-Norm) 和无监督聚类规范化 (UCB-Norm)，提出了一种突破性的一步规范化方法。CB-Norm利用高斯混合模型来解决与梯度稳定性和学习加速相关的挑战。SCB-Norm引入了预定义的数据分区，通过分配的聚类来规范化激活。UCB-Norm动态地对神经元激活进行聚类，适应任务特定的挑战，而不依赖预定义的数据分区。这种双重方法确保了对多样化学习场景的灵活应对。CB-Norm创新地采用一步规范化的方法，其中每个混合成分的参数（激活空间中的聚类）作为深度神经网络的权重。这种自适应聚类过程在训练过程中同时解决了聚类和深度神经网络任务的分辨率，标志着该领域的一个显著进步。

Mar, 2024

本研究解决了深度神经网络在图像处理领域面临的分布变化导致模型收敛和性能下降的问题。提出了一种新颖的自适应上下文归一化方法，通过将具有相似特征的数据归为同一上下文并共同归一化参数，显著提高了速度与收敛性，从而在性能上超越了经典的批量归一化和混合归一化方法。

Sep, 2024