Nov, 2019

Filter Response Normalization 层：消除深度神经网络训练中的批次依赖性

PDF
TL;DR本文提出了 Filter Response Normalization（FRN）层，一种归一化和激活函数的新型组合，可以作为其他归一化和激活函数的替代品；该方法在各种情况下都优于 BN 和其他替代品，对于具有大型 mini-batch 的 Imagenet 分类使用 InceptionV3 和 ResnetV2-50 架构，FRN 层比 BN 的 top-1 验证精度增加约 0.7-1.0％；对于小型 mini-batch，它比 GN 的性能增强超过 1％；对于 COCO 数据集上的目标检测问题，FRN 层在所有批处理大小各个方面都优于其他方法 0.3-0.5％。
发现论文，激发创造
  • 组归一化

    本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

    Mar, 2018

  • 在联邦深度学习中优化批标准化

    研究表明，在分布式学习中，Batch Normalization 和 Group Normalization 并没有明显差异，而 Batch Normalization 可以用于更广泛的分布式学习设置中。

    Mar, 2023

  • 批量卡尔曼归一化：向使用微批次训练深度神经网络迈进

    本文提出了一种称为 Batch Kalman Normalization（BKN）的新型规范化方法，通过考虑其前面所有层的分布来估计某个层的统计信息来改善和加速训练深度神经网络，特别是在微批处理的情况下，实现了更稳定的训练和更快的收敛速度。

    Feb, 2018

  • 批量层归一化，一种用于 CNNs 和 RNN 的新归一化层

    介绍了一种新的归一化层 Batch Layer Normalization（BLN），可以在深度神经网络中减少内部协变量偏移问题，通过适应性的权衡 mini-batch 和特征标准化，并且具有比批归一化和层归一化更快的收敛速度。

    Sep, 2022

  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018

  • 通过批量归一化模型中分离变化模式以加速训练

    该研究使用 Fisher 核的角度探索 Batch Normalization 的优化，提出了一种新的 Mixture Normalization 方法，通过 CIFAR-10 和 CIFAR-100 实验验证能够有效加速深度神经网络模型的训练

    Jun, 2018

  • 批次重正化：降低批量归一化模型中的小批量相关性

    本文提出了一种称为 Batch Renormalization 的扩展方法，在训练深度学习模型时，在 minibatch 太小或不包含独立样本时，解决模型层输入依赖于 minibatch 所有实例和训练与推理之间存在的差异，同时保持初始化和训练效率等方面的优点。

    Feb, 2017

  • 批量归一化解释

    批量归一化是一种无监督的学习技术，它适应了深度神经网络的样条分区来匹配数据，缩小了训练样本和决策边界之间的边距，从而减少了过拟合，提高了泛化性能。

    Sep, 2022

  • BNN - BN = ?：无需批量归一化训练二元神经网络

    通过采用自适应梯度剪切、比例重量标准化和专门的瓶颈块等技术，本研究将 BN-Free 训练的框架扩展到二进制神经网络训练，并首次证明可以完全从 BNN 的训练和推断中去除 BN 层，而不会丧失性能。

    Apr, 2021

  • BCN: 批量通道归一化用于图像分类

    该研究提出了一种新的规范化技术称为批次通道规范化（BCN），它结合了批次归一化（BN）和层归一化（LN）的优势，并可以应用于计算机视觉领域中的各种应用。

    Dec, 2023