Mar, 2019

批通道归一化和权重标准化的微批量训练

PDF
TL;DR通过使用 Weight Standardization (WS) 和 Batch-Channel Normalization (BCN)，能够将 Batch Normalization（BN）中的两个成功因素引入 micro-batch training 中，从而为计算机视觉任务中不可避免的 micro-batch 训练提供有效的技术支持。通过验证在包括图像分类，目标检测，实例分割，视频识别和语义分割等全面的计算机视觉任务中，WS 和 BCN 均显著改善了 micro-batch 训练，甚至能够与大 batch 训练时的 BN 相媲美或超越。
发现论文，激发创造
  • BCN: 批量通道归一化用于图像分类

    该研究提出了一种新的规范化技术称为批次通道规范化（BCN），它结合了批次归一化（BN）和层归一化（LN）的优势，并可以应用于计算机视觉领域中的各种应用。

    Dec, 2023

  • 大规模图像分类的批归一化和权重归一化算法比较

    本文探讨了批归一化算法与权重归一化算法在大规模实际应用中的表现差异。经过实验发现，虽然权重归一化算法在训练精度方面表现更好，但最终的测试精度显著低于批归一化算法，并且权重归一化算法在大规模深度网络训练上稳定性差，因此不适合大规模实际应用。

    Sep, 2017

  • 随机白化批量归一化

    本研究提出了一种名为 SWBN 的针对深度神经网络的新算法，该算法使用随机白化技术渐进估计白化矩阵，相较于 IterNorm 算法实现了更快的收敛和更好的泛化效果。在常规（大批量）图像分类和少样本分类任务上，经过综合实验和对比，显示出了 SWBN 方法的有效性。

    Jun, 2021

  • 关于批归一化和权重归一化对生成对抗网络的影响

    本研究介绍了一种基于权重标准化的方法，用于改善生成对抗网络（GAN）的训练稳定性、效率和生成样本质量，并提供了基于测试集的平方欧几里得重构误差作为新的客观质量度量来评估训练性能，结果表明该方法优于基于批标准化（BN）的方法，并在常用数据集上取得了更好的定性和定量结果。

    Apr, 2017

  • 组归一化

    本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

    Mar, 2018

  • 深入探究方差传递和归一化：平均梯度的偏移导致网络崩溃

    通过研究彼此之间的关系，本文旨在对批归一化 (BN) 的实际效果进行解释，并通过提出参数权重标准化 (PWS) 解决平均梯度偏移的问题，从而使神经网络更快地收敛并在方差传递的角度解释 BN 的作用。

    Mar, 2021

  • 分组白化：平衡学习效率和表征能力

    本文介绍了一种名为 Group Whitening 的新型批量归一化方法，该方法结合了白化方法和 Group Normalization 的优点，避免了普通批量归一化的缺点，并且从模型表征容量的角度，分析了批归一化的表征能力与批大小（组数）的关系，通过在 ResNet 和 ResNeXt 上的实验，验证了 Group Whitening 在不同架构中的性能优势。

    Sep, 2020

  • 迭代归一化：从标准化走向高效白化

    本文提出了一种新的神经网络训练方法：Iterative Normalization，通过牛顿迭代实现高效且无矩阵分解的白化，同时引入 Stochastic Normalization Disturbance，增加实验的稳定性，实验表明 IterNorm 具有更好的优化与泛化折衷。

    Apr, 2019

  • 批量卡尔曼归一化：向使用微批次训练深度神经网络迈进

    本文提出了一种称为 Batch Kalman Normalization（BKN）的新型规范化方法，通过考虑其前面所有层的分布来估计某个层的统计信息来改善和加速训练深度神经网络，特别是在微批处理的情况下，实现了更稳定的训练和更快的收敛速度。

    Feb, 2018

  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018