CVPRSep, 2020

分组白化：平衡学习效率和表征能力

PDF
TL;DR本文介绍了一种名为 Group Whitening 的新型批量归一化方法，该方法结合了白化方法和 Group Normalization 的优点，避免了普通批量归一化的缺点，并且从模型表征容量的角度，分析了批归一化的表征能力与批大小（组数）的关系，通过在 ResNet 和 ResNeXt 上的实验，验证了 Group Whitening 在不同架构中的性能优势。
batch normalizationgroup normalizationgroup whiteningdeep learningconvolutional neural networks
发现论文，激发创造
  • 组归一化

    本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

    Mar, 2018

  • 随机白化批量归一化

    本研究提出了一种名为 SWBN 的针对深度神经网络的新算法，该算法使用随机白化技术渐进估计白化矩阵，相较于 IterNorm 算法实现了更快的收敛和更好的泛化效果。在常规（大批量）图像分类和少样本分类任务上，经过综合实验和对比，显示出了 SWBN 方法的有效性。

    Jun, 2021

  • GAN 的白化和着色批次转换

    本文提出了基于白化和着色的批量归一化方法，用于推广批量归一化和条件归一化，并验证其能够提高生成对抗网络的质量和稳定性

    Jun, 2018

  • 迭代归一化：从标准化走向高效白化

    本文提出了一种新的神经网络训练方法：Iterative Normalization，通过牛顿迭代实现高效且无矩阵分解的白化，同时引入 Stochastic Normalization Disturbance，增加实验的稳定性，实验表明 IterNorm 具有更好的优化与泛化折衷。

    Apr, 2019

  • 一项批处理白化随机性调查

    本文研究批量白化（Batch Whitening），提供了一个可用于不同场景下的批量白化算法设计及比较框架，并通过 ImageNet 数据集分类和生成对抗网络训练的应用实践验证了所提出算法的有效性和稳定性。

    Mar, 2020

  • 探索深度学习模型中使用群归一化在阿尔茨海默病分类中的有效性

    使用 Group Normalization 作为批量归一化（Batch Normalization）的替代方法来解决其在深度学习模型中所面临的严重挑战，具有与或提高分类准确率的可比性，而且可以自然地从预训练阶段转移到微调阶段。

    Apr, 2024

  • 在联邦深度学习中优化批标准化

    研究表明，在分布式学习中，Batch Normalization 和 Group Normalization 并没有明显差异，而 Batch Normalization 可以用于更广泛的分布式学习设置中。

    Mar, 2023

  • 去相关批量归一化

    本文提出了一种新的批量标准化方法 Decorrelated Batch Normalization（DBN），不仅可以中心化和缩放激活，还可以白化激活，通过多种白化技术的探索发现 ZCA 白化可以成功学习并且可以提高 BN 的性能和优化效率，具有双重优势。我们通过一系列实验展示了 DBN 改进了 BN 的性能并且在多层感知器和卷积神经网络上都可以提高准确性，还在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上增加了残余网络的准确率。

    Apr, 2018

  • 批通道归一化和权重标准化的微批量训练

    通过使用 Weight Standardization (WS) 和 Batch-Channel Normalization (BCN)，能够将 Batch Normalization（BN）中的两个成功因素引入 micro-batch training 中，从而为计算机视觉任务中不可避免的 micro-batch 训练提供有效的技术支持。通过验证在包括图像分类，目标检测，实例分割，视频识别和语义分割等全面的计算机视觉任务中，WS 和 BCN 均显著改善了 micro-batch 训练，甚至能够与大 batch 训练时的 BN 相媲美或超越。

    Mar, 2019

  • 通过卷积单元优化提升批量白化的泛化能力

    提出了一种新的卷积单元，可用于批处理美白，并且效果更好，使用迭代归一化并应用于五个图像分类数据集上，显着提高了性能和稳定性。

    Aug, 2021