Feb, 2018

用 L1 范数批量归一化高效训练深度神经网络

PDF
TL;DR本文提出了一种仅利用线性操作来实现前向和后向传递的 L1-norm BN 方法，该方法与原始 L2-norm BN 方法在准确度和收敛速度上相当，但具有更高的计算效率和硬件友好性，可以通过低比特宽度量化技术实现全量化训练，进一步提高深度神经网络的训练速度和能效。
batch normalizationl1-norm bndeep neural networksgenerative adversarial networkslow bit-width quantization techniques
发现论文，激发创造
  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018

  • 流式归一化：针对在线和递归学习的更简单和更符合生物学原理的归一化方案

    提出了一个更简单、更符合生物学规律的通用归一化算法，可同时解决批归一化的两个主要限制：在线学习和循环学习，并提出了用不同统计矩阶数来进行归一化的 Lp 归一化方法，特别是 L1 归一化，其性能表现良好且计算速度快，更加符合生物学规律，因此非常适合 GPU 或硬件实现。

    Oct, 2016

  • PowerNorm: 在 Transformer 中重新考虑批量归一化

    本文研究了神经网络（NN）和自然语言处理 (NLP) 中的标准归一化方法 —— 层归一化 (LN) 和在计算机视觉中广泛应用的批归一化（BN）之间的区别，分析了使用 BN 进行 NLP 任务时性能下降的原因，提出了一种通过放宽 BN 中的零均值正则化，引入运行时二次平均值稳定批次间波动并在前向传递中引入运行时高斯噪声的新型 Lp 归一化方法 (PN)，比 LN 和 BN 都表现更好。

    Mar, 2020

  • 规范化重要性：深度神经网络中高效准确的规范化方法

    本研究提出了一种新的对归一化方法和权值衰减的目的和功能的视角，并建议了几种常用 L2 批归一化的替代方案，包括 L1 和 L∞范数中的归一化，以提高计算和内存效率，并且在低精度实现中大幅提高了数值稳定性，并且还提出了一种改进重要性重归一化的方法，可以提高其在大规模任务上的性能。

    Mar, 2018

  • 迭代归一化：从标准化走向高效白化

    本文提出了一种新的神经网络训练方法：Iterative Normalization，通过牛顿迭代实现高效且无矩阵分解的白化，同时引入 Stochastic Normalization Disturbance，增加实验的稳定性，实验表明 IterNorm 具有更好的优化与泛化折衷。

    Apr, 2019

  • 随机白化批量归一化

    本研究提出了一种名为 SWBN 的针对深度神经网络的新算法，该算法使用随机白化技术渐进估计白化矩阵，相较于 IterNorm 算法实现了更快的收敛和更好的泛化效果。在常规（大批量）图像分类和少样本分类任务上，经过综合实验和对比，显示出了 SWBN 方法的有效性。

    Jun, 2021

  • 组归一化

    本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

    Mar, 2018

  • L2BN: 通过等比例化特征的 L2 范数增强批归一化

    通过该研究，我们从可区分性的角度分析了批标准化，提出了一种简单而有效的方法，即通过对样本特征进行 $l_2$ 标准化来解决令人忽视的缺点，并在图像分类和声景分类任务中通过广泛的实验评估了该方法的有效性。

    Jul, 2022

  • 批量层归一化，一种用于 CNNs 和 RNN 的新归一化层

    介绍了一种新的归一化层 Batch Layer Normalization（BLN），可以在深度神经网络中减少内部协变量偏移问题，通过适应性的权衡 mini-batch 和特征标准化，并且具有比批归一化和层归一化更快的收敛速度。

    Sep, 2022

  • 广义批量归一化：加速深度神经网络

    提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。

    Dec, 2018