CVPRMar, 2022

探究批量归一化在网络中的估计偏移

PDF
TL;DR通过研究批量归一化（BN）中的种群统计估计，提出了一种批量自由归一化（BFN）的方法，进而设计了一种 XBNBlock 来替代深度残差网络中的 BN，以防止估计偏移的积累。在 ImageNet 和 COCO 基准测试上验证，XBNBlock 在各种网络结构下都能显著改善性能，并且对分布转移更具鲁棒性。
发现论文，激发创造
  • 在 BN 反向传播中稳定批统计量

    本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本 BN 的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

    Jan, 2020

  • EvalNorm: 用于模型评估的批归一化统计量估计

    通过使用 EvalNorm，本文解决了小 minibatch 训练时 batch normalization 性能下降的问题，而且 EvalNorm 实现方便，可以进一步提高模型性能。

    Apr, 2019

  • 批量层归一化，一种用于 CNNs 和 RNN 的新归一化层

    介绍了一种新的归一化层 Batch Layer Normalization（BLN），可以在深度神经网络中减少内部协变量偏移问题，通过适应性的权衡 mini-batch 和特征标准化，并且具有比批归一化和层归一化更快的收敛速度。

    Sep, 2022

  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018

  • 记忆批归一化的双向传播

    本文提出了一种基于多个最近批次来获取更准确、更稳健统计的 Memorized Batch Normalization (MBN)，并使用 Double-Forward scheme 来缓解分布漂移问题，相较于现有的方法，在训练和推理中表现更加稳定，并显著提高了模型的泛化性能。

    Oct, 2020

  • 批量卡尔曼归一化：向使用微批次训练深度神经网络迈进

    本文提出了一种称为 Batch Kalman Normalization（BKN）的新型规范化方法，通过考虑其前面所有层的分布来估计某个层的统计信息来改善和加速训练深度神经网络，特别是在微批处理的情况下，实现了更稳定的训练和更快的收敛速度。

    Feb, 2018

  • 批量标准化：通过减少内部协变量漂移加速深层神经网络训练

    该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。

    Feb, 2015

  • 标准化传播：一种参数技术用于消除深层网络中的内部协变量移位

    介绍了一种用于解决深度神经网络训练中的内部协变量漂移问题的非自适应规范化技术 ——Normalization Propagation，其利用一种数据独立的参数估计，通过预先规范化激活函数前的数据分布特征，实现了批标准化无法实现的单个 Batch 的训练，进一步减少了运算复杂性。

    Mar, 2016

  • 组归一化

    本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

    Mar, 2018

  • 跨迭代批量归一化

    本文提出了一种跨迭代批归一化（CBN）方法，利用多个最近的迭代中的样本共同估计统计量以增强估计质量，通过使用基于 Taylor 多项式的技术来补偿网络权重变化，以准确估计统计量，并在小型 mini-batch 情况下检测目标和图像分类任务中，CBN 显示出优于原始批归一化和对历史迭代的统计量直接计算的性能。

    Feb, 2020