Oct, 2016

流式归一化：针对在线和递归学习的更简单和更符合生物学原理的归一化方案

PDF
TL;DR提出了一个更简单、更符合生物学规律的通用归一化算法，可同时解决批归一化的两个主要限制：在线学习和循环学习，并提出了用不同统计矩阶数来进行归一化的 Lp 归一化方法，特别是 L1 归一化，其性能表现良好且计算速度快，更加符合生物学规律，因此非常适合 GPU 或硬件实现。
发现论文，激发创造
  • Continual Normalization: 重新思考批归一化的在线连续学习

    本文针对在线连续学习中使用批标准化（BN）时的非独立异分布和不稳定性的特征，提出 Continual Normalization (CN) 方法以缓解 BN 在老任务中的负面影响和低效率，并通过实验结果，说明 CN 可直接取代 BN 且可大幅提高性能。

    Mar, 2022

  • 神经网络训练的在线归一化

    在线归一化技术是一种新的神经网络归一化技术，可应用于图片分类，图片分段与语言建模。

    May, 2019

  • 用 L1 范数批量归一化高效训练深度神经网络

    本文提出了一种仅利用线性操作来实现前向和后向传递的 L1-norm BN 方法，该方法与原始 L2-norm BN 方法在准确度和收敛速度上相当，但具有更高的计算效率和硬件友好性，可以通过低比特宽度量化技术实现全量化训练，进一步提高深度神经网络的训练速度和能效。

    Feb, 2018

  • 规范化规范器：比较和扩展网络规范化方案

    本文提出一种归一化技术 —— 分裂归一化法，包括批归一化和层归一化，并发现在使用这种技术时结合对激活函数的稀疏正则化可以提高卷积神经网络和循环神经网络的准确性。

    Nov, 2016

  • 模态归一化

    本文提出了一种扩展 Batch Normalization 的灵活方法，通过将归一化扩展到不止一个均值和方差，我们能够实时检测数据模式并联合归一化具有共同特征的样本。实验结果表明，我们的方法在单任务和多任务数据集上优于 BN 和其他广泛使用的归一化技术。

    Oct, 2018

  • PowerNorm: 在 Transformer 中重新考虑批量归一化

    本文研究了神经网络（NN）和自然语言处理 (NLP) 中的标准归一化方法 —— 层归一化 (LN) 和在计算机视觉中广泛应用的批归一化（BN）之间的区别，分析了使用 BN 进行 NLP 任务时性能下降的原因，提出了一种通过放宽 BN 中的零均值正则化，引入运行时二次平均值稳定批次间波动并在前向传递中引入运行时高斯噪声的新型 Lp 归一化方法 (PN)，比 LN 和 BN 都表现更好。

    Mar, 2020

  • 深度学习中标准化方法的新诠释

    本文提出了一项引理来解释多种神经网络中的归一化方法，从而能够在统一的框架下解释归一化的概念。我们的结论是，这些归一化方法能够让权重的范数增大，可能会造成攻击性漏洞的风险，同时，证明这些归一化方法可以帮助稳定网络训练。

    Jun, 2020

  • 克服连续学习中规范化统计的新陈代谢偏见：平衡和适应

    持续学习在深度神经网络中的应用及其在适应性平衡方面的理论分析。通过提出适应性平衡的批归一化策略 (AdaB2N)，在各种基准测试中显著提高了性能。

    Oct, 2023

  • 批量归一化中正则化的理解

    通过对神经网络的基本结构进行分析，我们发现批量标准化通过人口标准化和 gamma 衰减作为显式正则化来实现隐式正则化，可以提高训练收敛性和泛化性，同时提供了学习动力学和正则化的学习方法，这一理论与实验证明了在卷积神经网络中批量标准化和上述分析具有相同的正则化特性。

    Sep, 2018

  • 提高批标准化的四个必知技巧

    本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shifting 参数 gamma 和 beta 的影响、并结合批量标准化和分组标准化的方法解决小批量规模的问题。这些方法可以提高神经网络在六个数据集上的性能表现。

    Jun, 2019