Oct, 2017

基于投影的深度神经网络加权标准化

PDF
TL;DR本文提出了一种投影基准重量归一化 (PBWN) 的方法，通过将每个神经元的输入权重限制在单位范数上，以达到优化 DNN 性能的目的。实验表明，该方法在许多不同的 DNN 体系结构上均能提高性能，并且能够在 permutation invariant MNIST 数据集上实现半监督学习方面的超越表现。
deep neural networksweight normalizationoblique manifoldbatch normalizationsemi-supervised learning
发现论文，激发创造
  • 大规模图像分类的批归一化和权重归一化算法比较

    本文探讨了批归一化算法与权重归一化算法在大规模实际应用中的表现差异。经过实验发现，虽然权重归一化算法在训练精度方面表现更好，但最终的测试精度显著低于批归一化算法，并且权重归一化算法在大规模深度网络训练上稳定性差，因此不适合大规模实际应用。

    Sep, 2017

  • 深度学习中标准化方法的新诠释

    本文提出了一项引理来解释多种神经网络中的归一化方法，从而能够在统一的框架下解释归一化的概念。我们的结论是，这些归一化方法能够让权重的范数增大，可能会造成攻击性漏洞的风险，同时，证明这些归一化方法可以帮助稳定网络训练。

    Jun, 2020

  • 批通道归一化和权重标准化的微批量训练

    通过使用 Weight Standardization (WS) 和 Batch-Channel Normalization (BCN)，能够将 Batch Normalization（BN）中的两个成功因素引入 micro-batch training 中，从而为计算机视觉任务中不可避免的 micro-batch 训练提供有效的技术支持。通过验证在包括图像分类，目标检测，实例分割，视频识别和语义分割等全面的计算机视觉任务中，WS 和 BCN 均显著改善了 micro-batch 训练，甚至能够与大 batch 训练时的 BN 相媲美或超越。

    Mar, 2019

  • 通过奇异值约束提高深度神经网络的训练

    本文通过提出一种名为 Singular Value Bounding (SVB) 的简单而有效的方法，约束了整个深度神经网络训练过程中的权重矩阵解，使其满足正交可行集，并在基准图像分类数据集上进行试验，得出了令人满意的成果。

    Nov, 2016

  • 基于黎曼几何的批归一化方法

    通过对 Batch Normalization 层中的权重向量空间进行 Riemannian 测量，从而提出了一种新学习规则，并利用几何特性进行了优化，成功地提高了在各种网络结构和数据集上的性能。

    Sep, 2017

  • 深入探究方差传递和归一化：平均梯度的偏移导致网络崩溃

    通过研究彼此之间的关系，本文旨在对批归一化 (BN) 的实际效果进行解释，并通过提出参数权重标准化 (PWS) 解决平均梯度偏移的问题，从而使神经网络更快地收敛并在方差传递的角度解释 BN 的作用。

    Mar, 2021

  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 关于批归一化和权重归一化对生成对抗网络的影响

    本研究介绍了一种基于权重标准化的方法，用于改善生成对抗网络（GAN）的训练稳定性、效率和生成样本质量，并提供了基于测试集的平方欧几里得重构误差作为新的客观质量度量来评估训练性能，结果表明该方法优于基于批标准化（BN）的方法，并在常用数据集上取得了更好的定性和定量结果。

    Apr, 2017

  • 深度网络中对称性的理解

    本研究针对深度网络权重空间中的对称性问题，探讨了使用基于单位范数的约束来改善权重空间对称性问题的方法，并通过 MNIST 数据集上的实验证明该方法优于批量归一化方法且不会影响权重更新的计算性能。

    Nov, 2015

  • 针对点卷积神经网络的方差感知型权重初始化

    本文提出了一种统一多种连续卷积的框架，并介绍了一种基于方差的权重初始化策略，能够在学习面对点云时避免批标准化的缺陷，并实现与批标准化类似或更好的性能。

    Dec, 2021