May, 2022

Batch Normalization 对损失函数的一阶和二阶导数视而不见

PDF
TL;DR本文证明 Batch Normalization 操作对于第一和第二导数的反向传播的影响，并发现了这种问题的原因是 BN 操作的标准化阶段，实验结果验证了理论结论，证明 BN 操作对于特定任务中的特征表示具有显著影响。
发现论文，激发创造
  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018

  • 批量归一化解释

    批量归一化是一种无监督的学习技术，它适应了深度神经网络的样条分区来匹配数据，缩小了训练样本和决策边界之间的边距，从而减少了过拟合，提高了泛化性能。

    Sep, 2022

  • 记忆批归一化的双向传播

    本文提出了一种基于多个最近批次来获取更准确、更稳健统计的 Memorized Batch Normalization (MBN)，并使用 Double-Forward scheme 来缓解分布漂移问题，相较于现有的方法，在训练和推理中表现更加稳定，并显著提高了模型的泛化性能。

    Oct, 2020

  • 在 BN 反向传播中稳定批统计量

    本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本 BN 的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

    Jan, 2020

  • 批量归一化中正则化的理解

    通过对神经网络的基本结构进行分析，我们发现批量标准化通过人口标准化和 gamma 衰减作为显式正则化来实现隐式正则化，可以提高训练收敛性和泛化性，同时提供了学习动力学和正则化的学习方法，这一理论与实验证明了在卷积神经网络中批量标准化和上述分析具有相同的正则化特性。

    Sep, 2018

  • Batch Normalization 自动调速的理论分析

    本篇论文为 Batch Normalization 提供理论支持：即使在不同的学习速率下，通过 gradient descent 求解，BN 仍然可以使得收敛的速度达到最佳水平。

    Dec, 2018

  • 批归一化的平均场理论

    我们研究了全连接前馈神经网络的批标准化问题，并提出了一种均值场理论。研究表明，批标准化会导致梯度爆炸，而这种爆炸无法通过调节初始权重方差或调整非线性激活函数来消除。然而，我们可以通过将网络调整到线性区域来减少梯度爆炸，从而提高网络的可训练性。此外，我们还研究了批标准化网络的学习动态。

    Feb, 2019

  • 批归一化在自然语言处理中 Transformer 失败的原因

    通过量化训练与推理之间的不一致性，证明了 BN 在 NLP 中表现较差的主要原因，并提出了一种正则化方法 RBN，可以显著改善 BN 在 Transformer 模型上的性能。

    Oct, 2022

  • 迭代归一化：从标准化走向高效白化

    本文提出了一种新的神经网络训练方法：Iterative Normalization，通过牛顿迭代实现高效且无矩阵分解的白化，同时引入 Stochastic Normalization Disturbance，增加实验的稳定性，实验表明 IterNorm 具有更好的优化与泛化折衷。

    Apr, 2019

  • 基于黎曼几何的批归一化方法

    通过对 Batch Normalization 层中的权重向量空间进行 Riemannian 测量，从而提出了一种新学习规则，并利用几何特性进行了优化，成功地提高了在各种网络结构和数据集上的性能。

    Sep, 2017