ICMLMay, 2019

批量归一化导致对抗性攻击性漏洞

PDF
TL;DR研究表明，批量标准化在深度神经网络的训练中可以降低参数更新次数，但会导致对小型对抗性输入扰动和噪音的鲁棒性降低，同时使用权重衰减可以消除其对输入尺寸的影响。
batch normalizationneural networksadversarial vulnerabilityweight decayexploding gradients
发现论文，激发创造
  • 走向一个对抗鲁棒性标准化方法

    本研究证明 BatchNorm 在对抗攻击下表现脆弱的原因和提出了新的对抗攻击下稳健的正则化方法 RobustNorm。实验证明使用 RobustNorm 的深度神经网络在对抗环境下表现更好。

    Jun, 2020

  • 批量归一化如何帮助优化？

    本文探讨了批量归一化（BatchNorm）对深度神经网络（DNN）训练的影响及原因，发现 BatchNorm 的成功并不在于控制层输入分布的稳定性，而是在于它让优化的过程变得更加平滑，从而使梯度更加稳定和可预测，加快了训练速度。

    May, 2018

  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018

  • 批量标准化：通过减少内部协变量漂移加速深层神经网络训练

    该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。

    Feb, 2015

  • 批量归一化增加对抗性漏洞性并降低对抗性可传递性：一个非强健特征的视角

    本研究分析批量标准化在深度神经网络中的影响，提出通过分离鲁棒性和有效性来评估其对神经网络的贡献，并探究其对于特征鲁棒性的贡献程度以及其对于黑盒攻击的可重用性。

    Oct, 2020

  • 无批归一化训练深度神经网络

    本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

    Aug, 2020

  • 大规模对抗训练的有趣特性

    通过研究对抗训练的诊断要素，本文发现了两个有趣的性质：一是在对抗训练中批量归一化可能会阻碍网络获得强鲁棒性，而分别对训练集中的干净图片和对抗图片进行归一化可以提高鲁棒性；二是相较于传统分类任务，对抗学习对更深的网络层级有更高的需求，这一点可以通过增加网络容量来实现。

    Jun, 2019

  • L2 正则化与批量归一化和权重归一化比较

    研究 Batch Normalization 和 L2 正则化在深度神经网络训练中的影响，发现 L2 正则化在与标准化结合使用时并没有规范化的作用，而是会影响权重的缩放和有效学习速率，还讨论了其他缓解这个问题的方法。

    Jun, 2017

  • 提高批标准化的四个必知技巧

    本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shifting 参数 gamma 和 beta 的影响、并结合批量标准化和分组标准化的方法解决小批量规模的问题。这些方法可以提高神经网络在六个数据集上的性能表现。

    Jun, 2019

  • 关于批归一化和权重归一化对生成对抗网络的影响

    本研究介绍了一种基于权重标准化的方法，用于改善生成对抗网络（GAN）的训练稳定性、效率和生成样本质量，并提供了基于测试集的平方欧几里得重构误差作为新的客观质量度量来评估训练性能，结果表明该方法优于基于批标准化（BN）的方法，并在常用数据集上取得了更好的定性和定量结果。

    Apr, 2017