IJCAIFeb, 2018

批量卡尔曼归一化：向使用微批次训练深度神经网络迈进

PDF
TL;DR本文提出了一种称为 Batch Kalman Normalization（BKN）的新型规范化方法，通过考虑其前面所有层的分布来估计某个层的统计信息来改善和加速训练深度神经网络，特别是在微批处理的情况下，实现了更稳定的训练和更快的收敛速度。
batch normalizationbatch kalman normalizationdeep neural networksmicro-batchesimage classification
发现论文，激发创造
  • 通过批量归一化模型中分离变化模式以加速训练

    该研究使用 Fisher 核的角度探索 Batch Normalization 的优化，提出了一种新的 Mixture Normalization 方法，通过 CIFAR-10 和 CIFAR-100 实验验证能够有效加速深度神经网络模型的训练

    Jun, 2018

  • 批量层归一化，一种用于 CNNs 和 RNN 的新归一化层

    介绍了一种新的归一化层 Batch Layer Normalization（BLN），可以在深度神经网络中减少内部协变量偏移问题，通过适应性的权衡 mini-batch 和特征标准化，并且具有比批归一化和层归一化更快的收敛速度。

    Sep, 2022

  • 批量标准化：通过减少内部协变量漂移加速深层神经网络训练

    该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。

    Feb, 2015

  • 组归一化

    本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

    Mar, 2018

  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018

  • 在 BN 反向传播中稳定批统计量

    本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本 BN 的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

    Jan, 2020

  • 记忆批归一化的双向传播

    本文提出了一种基于多个最近批次来获取更准确、更稳健统计的 Memorized Batch Normalization (MBN)，并使用 Double-Forward scheme 来缓解分布漂移问题，相较于现有的方法，在训练和推理中表现更加稳定，并显著提高了模型的泛化性能。

    Oct, 2020

  • 批次重正化：降低批量归一化模型中的小批量相关性

    本文提出了一种称为 Batch Renormalization 的扩展方法，在训练深度学习模型时，在 minibatch 太小或不包含独立样本时，解决模型层输入依赖于 minibatch 所有实例和训练与推理之间存在的差异，同时保持初始化和训练效率等方面的优点。

    Feb, 2017

  • 批量归一化解释

    批量归一化是一种无监督的学习技术，它适应了深度神经网络的样条分区来匹配数据，缩小了训练样本和决策边界之间的边距，从而减少了过拟合，提高了泛化性能。

    Sep, 2022

  • BNN - BN = ?：无需批量归一化训练二元神经网络

    通过采用自适应梯度剪切、比例重量标准化和专门的瓶颈块等技术，本研究将 BN-Free 训练的框架扩展到二进制神经网络训练，并首次证明可以完全从 BNN 的训练和推断中去除 BN 层，而不会丧失性能。

    Apr, 2021