本研究证明 BatchNorm 在对抗攻击下表现脆弱的原因和提出了新的对抗攻击下稳健的正则化方法 RobustNorm。实验证明使用 RobustNorm 的深度神经网络在对抗环境下表现更好。

Jun, 2020

通过研究对抗训练的诊断要素，本文发现了两个有趣的性质：一是在对抗训练中批量归一化可能会阻碍网络获得强鲁棒性，而分别对训练集中的干净图片和对抗图片进行归一化可以提高鲁棒性；二是相较于传统分类任务，对抗学习对更深的网络层级有更高的需求，这一点可以通过增加网络容量来实现。

Jun, 2019

批量归一化是一种无监督的学习技术，它适应了深度神经网络的样条分区来匹配数据，缩小了训练样本和决策边界之间的边距，从而减少了过拟合，提高了泛化性能。

Sep, 2022

研究表明，批量标准化在深度神经网络的训练中可以降低参数更新次数，但会导致对小型对抗性输入扰动和噪音的鲁棒性降低，同时使用权重衰减可以消除其对输入尺寸的影响。

May, 2019

本文提出了一种称为自适应批量归一化（AdaBN）的方法来提高深度神经网络的泛化能力，无需额外组件或参数，并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。

Mar, 2016

通过对特征统计数据直接进行扰动，我们提出了 Adversarial Batch Normalization (AdvBN) 方法，它是一种单一的网络层，可以在训练期间生成最差情况下的特征扰动。通过在扰动的特征分布上对神经网络进行微调，我们观察到网络对各种不可见的分布偏移，包括样式变化和图像损坏，具有更好的鲁棒性。此外，我们证明我们提出的对抗性特征扰动可以与现有的图像空间数据增强方法互补，从而实现改进性能。

Sep, 2020

通过自适应批归一化网络（ABNN）设计一种不基于对抗训练但仍然能够抵御强对抗攻击的防御方法，以提高对抗性鲁棒性并在图像和视频数据集上实现更高的清洁数据性能和显著降低训练时间复杂度。

May, 2024

本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

Jun, 2018

本研究论文提出了一种名为统一批标准化（UBN）的两阶段统一框架，用于解决批标准化（BN）中的特征凝聚问题，并统一各种标准化变体以提高性能和网络训练收敛速度。实验证明，UBN 方法能够在不同的视觉背景下显著提升性能，并且在早期训练阶段尤其明显，如在大批量数据上提高了 3% 的 ImageNet 分类的 top-1 准确率，展示了该方法在实际场景中的有效性。

Nov, 2023

研究表明，在分布式学习中，Batch Normalization 和 Group Normalization 并没有明显差异，而 Batch Normalization 可以用于更广泛的分布式学习设置中。

Mar, 2023