实例增强批量归一化：批量噪声的自适应调节器

Aug, 2019

实例增强批量归一化：批量噪声的自适应调节器

Instance Enhancement Batch Normalization: an Adaptive Regulator of Batch Noise

Senwei Liang, Zhongzhan Huang, Mingfu Liang, Haizhao Yang

TL;DRInstance Enhancement Batch Normalization proposes a self-attention mechanism to regulate the noise of Batch Normalization via enhancing instance-specific information, and it outperforms BN in image classification tasks with only a light parameter increment.

Abstract

batch normalization (BN)(Ioffe and Szegedy 2015) normalizes the features of an input image via statistics of a batch of images and hence BN will bring the noise to the gradient of the training loss. Previous works indicate that the noise is important for the optimization and generaliza

batch normalization self-attention mechanism instance enhancement batch normalization noise regulation image classification

发现论文，激发创造

迭代归一化：从标准化走向高效白化

本文提出了一种新的神经网络训练方法：Iterative Normalization，通过牛顿迭代实现高效且无矩阵分解的白化，同时引入 Stochastic Normalization Disturbance，增加实验的稳定性，实验表明 IterNorm 具有更好的优化与泛化折衷。

Apr, 2019

用幽灵噪声正则化深度神经网络

通过研究 Ghost Batch Normalization 的有效性及其噪声分布和对模型性能的影响，提出了一种新的正则化技术 Ghost Noise Injection，其能够提供比 Ghost Batch Normalization 更好的泛化收益，并且在其它非噪声设置下也有益处。

May, 2023

随机白化批量归一化

本研究提出了一种名为 SWBN 的针对深度神经网络的新算法，该算法使用随机白化技术渐进估计白化矩阵，相较于 IterNorm 算法实现了更快的收敛和更好的泛化效果。在常规（大批量）图像分类和少样本分类任务上，经过综合实验和对比，显示出了 SWBN 方法的有效性。

Jun, 2021

理解批标准化

本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

Jun, 2018

实用域自适应的 Batch Normalization 重新审视

本文提出了一种称为自适应批量归一化（AdaBN）的方法来提高深度神经网络的泛化能力，无需额外组件或参数，并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。

Mar, 2016

组归一化

本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

Mar, 2018

批量归一化解释

批量归一化是一种无监督的学习技术，它适应了深度神经网络的样条分区来匹配数据，缩小了训练样本和决策边界之间的边距，从而减少了过拟合，提高了泛化性能。

Sep, 2022

自适应样式不变神经网络的批量实例归一化

通过 Batch-Instance Normalization 技术，能够显式地将图像中不必要的样式进行规范化，从而对识别性任务的结果产生了惊人的提升，理论有效性得到了实验验证。

May, 2018

在 BN 反向传播中稳定批统计量

本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本 BN 的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

Jan, 2020

基于范例的类增量学习的归一化平衡化

本研究通过针对基于样本的类增量学习（CIL）任务开发了一种新的 Batch Normalization（BN）更新模式 ——Task-Balanced BN（TBBN），通过使用 reshape 和 repeat 操作以及水平拼接任务平衡批来更好地解决训练数据不平衡问题，实验结果表明 TBBN 是一种超参数自由的变体，并且在 CIFAR-100，ImageNet-100 和五个不同的任务数据集上都优于其他的 BN 变体。

Jan, 2022