Feb, 2016

权重归一化：一种简单的重参数化方法加速深度神经网络训练

PDF
TL;DR本研究介绍了一种重量归一化方法，通过重新参数化神经网络中的权向量来改善优化问题的条件，并加速随机梯度下降的收敛速度，从而可以应用于各种模型和应用中，如 LSTMs，神经网络生成模型和深度强化学习。
weight normalizationneural networkstochastic gradient descentrecurrent modelsdeep reinforcement learning
发现论文，激发创造
  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • Weight Compander：一种用于正则化的简单权值重新参数化方法

    介绍了一种名为权重压缩器的新方法，用于重新参数化深度神经网络的每个权重，从而提高其泛化能力；该方法通过限制权重大小来隐式减少过拟合，同时强制权重远离零，以促进更多特征的提取并增加权重冗余，从而使网络对测试数据的统计差异不那么敏感。

    Jun, 2023

  • 通过权重归一化实现强大的隐式正则化

    本文研究了使用梯度下降与权重归一化进行训练的经过参数化的模型所具有的内在偏向性，并证明了权重归一化的方法可以在对角线性模型中具有稀疏解的内在偏向性。

    May, 2023

  • L2 正则化与批量归一化和权重归一化比较

    研究 Batch Normalization 和 L2 正则化在深度神经网络训练中的影响，发现 L2 正则化在与标准化结合使用时并没有规范化的作用，而是会影响权重的缩放和有效学习速率，还讨论了其他缓解这个问题的方法。

    Jun, 2017

  • 深度学习中标准化方法的新诠释

    本文提出了一项引理来解释多种神经网络中的归一化方法，从而能够在统一的框架下解释归一化的概念。我们的结论是，这些归一化方法能够让权重的范数增大，可能会造成攻击性漏洞的风险，同时，证明这些归一化方法可以帮助稳定网络训练。

    Jun, 2020

  • 无批归一化训练深度神经网络

    本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

    Aug, 2020

  • 规范化重要性：深度神经网络中高效准确的规范化方法

    本研究提出了一种新的对归一化方法和权值衰减的目的和功能的视角，并建议了几种常用 L2 批归一化的替代方案，包括 L1 和 L∞范数中的归一化，以提高计算和内存效率，并且在低精度实现中大幅提高了数值稳定性，并且还提出了一种改进重要性重归一化的方法，可以提高其在大规模任务上的性能。

    Mar, 2018

  • 使用本地重新参数化技巧学习离散权重

    本研究使用 LR-nets（局部重参数网络）的方法，通过对神经网络加入离散权重的简单修改，对于 MNIST、CIFAR-10 和 ImageNet 数据集进行测试，表明用离散权重的二进制和三进制模型在大部分实验中能够取得最先进的结果。

    Oct, 2017

  • 大规模图像分类的批归一化和权重归一化算法比较

    本文探讨了批归一化算法与权重归一化算法在大规模实际应用中的表现差异。经过实验发现，虽然权重归一化算法在训练精度方面表现更好，但最终的测试精度显著低于批归一化算法，并且权重归一化算法在大规模深度网络训练上稳定性差，因此不适合大规模实际应用。

    Sep, 2017

  • 如何初始化网络？WeightNorm 和 ResNets 的鲁棒初始化

    本文研究权重规范化神经网络的参数初始化策略，通过使用平均场近似方法，提出了一种新的参数初始化策略。通过超过 2500 次实验，本文展示了所提出的初始化方法在图像数据集上具有更好的泛化性能、超参数值鲁棒性和种子之间的变异性。而且，该初始化方法与学习率预热相结合，能减小权重规范化神经网络与批量规范化神经网络之间性能的差距。

    Jun, 2019