Nov, 2023

统一批标准化：识别和缓解批标准化中的特征压缩问题和一个统一框架

PDF
TL;DR本研究论文提出了一种名为统一批标准化（UBN）的两阶段统一框架，用于解决批标准化（BN）中的特征凝聚问题，并统一各种标准化变体以提高性能和网络训练收敛速度。实验证明，UBN 方法能够在不同的视觉背景下显著提升性能，并且在早期训练阶段尤其明显，如在大批量数据上提高了 3% 的 ImageNet 分类的 top-1 准确率，展示了该方法在实际场景中的有效性。
batch normalizationneural networkfeature condensationunified batch normalizationnetwork training convergence
发现论文，激发创造
  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018

  • 广义批量归一化：加速深度神经网络

    提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。

    Dec, 2018

  • 批量归一化增加对抗性漏洞性并降低对抗性可传递性：一个非强健特征的视角

    本研究分析批量标准化在深度神经网络中的影响，提出通过分离鲁棒性和有效性来评估其对神经网络的贡献，并探究其对于特征鲁棒性的贡献程度以及其对于黑盒攻击的可重用性。

    Oct, 2020

  • 批量归一化解释

    批量归一化是一种无监督的学习技术，它适应了深度神经网络的样条分区来匹配数据，缩小了训练样本和决策边界之间的边距，从而减少了过拟合，提高了泛化性能。

    Sep, 2022

  • 提高批标准化的四个必知技巧

    本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shifting 参数 gamma 和 beta 的影响、并结合批量标准化和分组标准化的方法解决小批量规模的问题。这些方法可以提高神经网络在六个数据集上的性能表现。

    Jun, 2019

  • 稳健图像分类的上下文归一化

    本文提出一种称为上下文归一化的新的归一化技术，用于图像数据。这种方法基于每个样本的特征调整特征的缩放，通过使数据值适应目标任务的上下文来提高模型的收敛速度和性能。在各种数据集上展示了上下文归一化的有效性，并将其性能与其他标准归一化技术进行了比较。

    Mar, 2023

  • 组归一化

    本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

    Mar, 2018

  • 在 BN 反向传播中稳定批统计量

    本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本 BN 的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

    Jan, 2020

  • BCN: 批量通道归一化用于图像分类

    该研究提出了一种新的规范化技术称为批次通道规范化（BCN），它结合了批次归一化（BN）和层归一化（LN）的优势，并可以应用于计算机视觉领域中的各种应用。

    Dec, 2023

  • 在联邦深度学习中优化批标准化

    研究表明，在分布式学习中，Batch Normalization 和 Group Normalization 并没有明显差异，而 Batch Normalization 可以用于更广泛的分布式学习设置中。

    Mar, 2023