ICMLAug, 2020

通过权重尺度不变正则化提高神经网络的泛化性能和鲁棒性

PDF
TL;DR该研究论文介绍了一种改进神经网络正则化器的方法，该正则化器不仅能对权重衰减，还能考虑权重尺度偏移对正则化的影响，有效地限制神经网络的内在范数，并优化了对抗强度以提高泛化性能。
neural networksregularizationweight decayadversarial robustnesshomogeneous activation functions
发现论文，激发创造
  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 通过权重归一化实现强大的隐式正则化

    本文研究了使用梯度下降与权重归一化进行训练的经过参数化的模型所具有的内在偏向性，并证明了权重归一化的方法可以在对角线性模型中具有稀疏解的内在偏向性。

    May, 2023

  • 基于归一化等变性的神经网络及其在图像去噪中的应用

    本文提出了一种方法，通过引入受控亚线性激活函数和逐通道排序池化层来适应现有深度神经网络，从而实现网络的归一化等变性，这些修改不会损失性能，并应用于图像去噪中。

    Jun, 2023

  • 深度网络中对称性的理解

    本研究针对深度网络权重空间中的对称性问题，探讨了使用基于单位范数的约束来改善权重空间对称性问题的方法，并通过 MNIST 数据集上的实验证明该方法优于批量归一化方法且不会影响权重更新的计算性能。

    Nov, 2015

  • 线性约束权重：减少激活漂移以加快神经网络的训练

    在本文中，我们首先识别到神经网络中的激活偏移现象，通过线性约束权重（LCW）来减小激活偏移，研究了减小激活偏移对神经网络中变量方差的影响，并讨论其与梯度消失问题的关系。实验结果表明，LCW 能够通过解决梯度消失问题有效地训练具有 sigmoid 激活函数的深度前馈网络，并结合批标准化能够改善前馈和卷积网络的泛化性能。

    Mar, 2024

  • 具有连接切线核的尺度不变贝叶斯神经网络

    该研究提出了基于参数缩放的先验分布与后验分布的不变性解决神经网络中泛化与可靠性问题，避免了参数总体规模变化对网络泛化性能的影响，从而提高了 Laplace 对数似然近似算法的不确定性校准效果。

    Sep, 2022

  • 权重衰减正则化的三种机制

    三个 optimization algorithms (SGD、Adam 和 K-FAC) 使用 weight decay 有三种 regularization 效应：(1) 增加 effective learning rate；(2) regularizing input-output Jacobian norm；(3) 减小 second-order optimization 的 effective damping coefficient。

    Oct, 2018

  • L2 正则化与批量归一化和权重归一化比较

    研究 Batch Normalization 和 L2 正则化在深度神经网络训练中的影响，发现 L2 正则化在与标准化结合使用时并没有规范化的作用，而是会影响权重的缩放和有效学习速率，还讨论了其他缓解这个问题的方法。

    Jun, 2017

  • 规范化重要性：深度神经网络中高效准确的规范化方法

    本研究提出了一种新的对归一化方法和权值衰减的目的和功能的视角，并建议了几种常用 L2 批归一化的替代方案，包括 L1 和 L∞范数中的归一化，以提高计算和内存效率，并且在低精度实现中大幅提高了数值稳定性，并且还提出了一种改进重要性重归一化的方法，可以提高其在大规模任务上的性能。

    Mar, 2018

  • 基于正则化的深度神经网络结构中不相关参数修剪

    本研究提出了一种基于正则化技术实现学习稀疏神经拓扑结构的方法，包括对非相关权重标定、压缩优化以及迭代式意义下的参数消除。在图像分类与自然语言生成任务中进行测试，并通过数据指标达到与或优于竞争对手等表现。

    Apr, 2022