模态归一化

Oct, 2018

Mode Normalization

Lucas Deecke, Iain Murray, Hakan Bilen

TL;DR本文提出了一种扩展 Batch Normalization 的灵活方法，通过将归一化扩展到不止一个均值和方差，我们能够实时检测数据模式并联合归一化具有共同特征的样本。实验结果表明，我们的方法在单任务和多任务数据集上优于 BN 和其他广泛使用的归一化技术。

Abstract

normalization methods are a central building block in the deep learning toolbox. They accelerate and stabilize training, while decreasing the dependence on manually tuned learning rate schedules. When learning fr

normalization methods deep learning batch normalization multi-modal distributions flexible approach

发现论文，激发创造

稳健图像分类的上下文归一化

本文提出一种称为上下文归一化的新的归一化技术，用于图像数据。这种方法基于每个样本的特征调整特征的缩放，通过使数据值适应目标任务的上下文来提高模型的收敛速度和性能。在各种数据集上展示了上下文归一化的有效性，并将其性能与其他标准归一化技术进行了比较。

Mar, 2023

理解批标准化

本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

Jun, 2018

通过批量归一化模型中分离变化模式以加速训练

该研究使用 Fisher 核的角度探索 Batch Normalization 的优化，提出了一种新的 Mixture Normalization 方法，通过 CIFAR-10 和 CIFAR-100 实验验证能够有效加速深度神经网络模型的训练

Jun, 2018

深度学习中标准化方法的新诠释

本文提出了一项引理来解释多种神经网络中的归一化方法，从而能够在统一的框架下解释归一化的概念。我们的结论是，这些归一化方法能够让权重的范数增大，可能会造成攻击性漏洞的风险，同时，证明这些归一化方法可以帮助稳定网络训练。

Jun, 2020

组归一化

本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

Mar, 2018

无批归一化训练深度神经网络

本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

Aug, 2020

层归一化

本文提出一种基于层归一化的深度神经网络训练新方法，能够有效稳定循环神经网络中的隐藏状态动态，其训练时间较之前的技术有大幅度降低。

Jul, 2016

训练 DNNs 中的归一化技术：方法论、分析与应用

本文回顾和评价了正则化方法在深度神经网络训练中的过去、现在和未来，提供了有关优化背后动机的统一图像，并提出了理解其相似之处和差异的分类法。此外，对正则化激活方法的管道进行了分解，并讨论了应用正则化解决核心问题的具体任务的应用。

Sep, 2020

流式归一化：针对在线和递归学习的更简单和更符合生物学原理的归一化方案

提出了一个更简单、更符合生物学规律的通用归一化算法，可同时解决批归一化的两个主要限制：在线学习和循环学习，并提出了用不同统计矩阶数来进行归一化的 Lp 归一化方法，特别是 L1 归一化，其性能表现良好且计算速度快，更加符合生物学规律，因此非常适合 GPU 或硬件实现。

Oct, 2016

广义批量归一化：加速深度神经网络

提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。

Dec, 2018