Oct, 2020

Batch Norm 是否独特？一个经验性研究与处方，在不依赖 Batch 的情况下模拟常见归一化器的最佳性能

PDF
TL;DR本论文通过对 “Batch Norm” 等常见标准化方法的统计特性进行广泛的实证研究，提出可以更好地匹配这些理想特性的两种新的标准化方法，PreLayerNorm 和 RegNorm 。研究表明，它们可以实现 Batch Norm 的大部分性能，而无需批次依赖关系，并且它们可在 Batch Norm 无效的情况下应用。
batch normnormalizersprelayernormregnormlayernorm
发现论文，激发创造
  • 批次重正化：降低批量归一化模型中的小批量相关性

    本文提出了一种称为 Batch Renormalization 的扩展方法，在训练深度学习模型时，在 minibatch 太小或不包含独立样本时，解决模型层输入依赖于 minibatch 所有实例和训练与推理之间存在的差异，同时保持初始化和训练效率等方面的优点。

    Feb, 2017

  • 提高批标准化的四个必知技巧

    本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shifting 参数 gamma 和 beta 的影响、并结合批量标准化和分组标准化的方法解决小批量规模的问题。这些方法可以提高神经网络在六个数据集上的性能表现。

    Jun, 2019

  • EvalNorm: 用于模型评估的批归一化统计量估计

    通过使用 EvalNorm，本文解决了小 minibatch 训练时 batch normalization 性能下降的问题，而且 EvalNorm 实现方便，可以进一步提高模型性能。

    Apr, 2019

  • 规范化重要性：深度神经网络中高效准确的规范化方法

    本研究提出了一种新的对归一化方法和权值衰减的目的和功能的视角，并建议了几种常用 L2 批归一化的替代方案，包括 L1 和 L∞范数中的归一化，以提高计算和内存效率，并且在低精度实现中大幅提高了数值稳定性，并且还提出了一种改进重要性重归一化的方法，可以提高其在大规模任务上的性能。

    Mar, 2018

  • 无批归一化训练深度神经网络

    本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

    Aug, 2020

  • TaskNorm: 为元学习重新思考批归一化

    该研究探讨了在元学习中使用批量标准化的挑战，并提出了一种叫 TaskNorm 的新方法，实验证明该方法能够改善分类准确性和训练时间，并提供了一系列规范化的最佳实践来实现元学习算法的公平比较。

    Mar, 2020

  • 批归一化的指数收敛速率：在非凸优化中实现长度 - 方向解耦的力量

    我们通过对多个机器学习实例进行研究，证明了 Batch Normalization 在优化任务中的加速效果源于其将参数长度和方向分开进行优化，针对这些机器学习问题，Batch Normalization 可以是一种收敛算法。

    May, 2018

  • 批量归一化如何帮助优化？

    本文探讨了批量归一化（BatchNorm）对深度神经网络（DNN）训练的影响及原因，发现 BatchNorm 的成功并不在于控制层输入分布的稳定性，而是在于它让优化的过程变得更加平滑，从而使梯度更加稳定和可预测，加快了训练速度。

    May, 2018

  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018

  • GraphNorm：加速图神经网络训练的原则性方法

    本文研究了对图神经网络进行归一化的有效方法，将 InstanceNorm 与 BatchNorm 和 LayerNorm 进行比较，证明了 InstanceNorm 对 GNNs 的预处理效果最好。同时，我们也发现 InstanceNorm 的偏移操作可能会导致 GNNs 的表现能力下降，因此引入了可学习的 GraphNorm 对表现力下降的问题进行纠正，实验证明使用 GraphNorm 推出的 GNN 准确率得到了显著提升。

    Sep, 2020