Aug, 2021

桥接对抗训练

PDF
TL;DR本研究发现，即使具有类似的鲁棒性，经过对抗训练的模型在边际和平滑性方面可能具有显着不同的特征。在此基础上，我们研究了不同正则化器的影响，并发现平滑正则化器对最大化边缘的负面影响。基于分析结果，我们提出了一种名为桥接对抗训练的新方法，该方法通过将干净示例和对抗示例之间的差距进行桥接来缓解负面影响。我们提供理论和实证证据表明互补对抗训练提供了稳定且更好的鲁棒性，特别是对于大型扰动。
adversarial robustnessdeep neural networksadversarial trainingregularizersbridged adversarial training
发现论文，激发创造
  • 对抗鲁棒性与梯度可解释性的桥梁

    本文探讨了敌对训练对 DNN 的梯度提升及其可解释性的影响，发现敌对训练能够使得损失梯度更加符合人类感知，且提出了在测试准确性和损失梯度可解释性之间的权衡以及解决方案。

    Mar, 2019

  • 通过正则化对抗梯度实现神经网络的鲁棒训练

    通过限制神经网络的对抗梯度并增加对抗性样本生成的难度，提高了神经网络的鲁棒性，使其能够抵御各种类型的对抗性攻击，特别是迁移攻击。

    May, 2018

  • 对抗训练可能是把双刃剑

    本文研究了对抗训练在提高图像分类器对白盒攻击的鲁棒性中的有效性，以及在黑盒攻击下的细微差别，并定义了鲁棒性增益的度量指标来衡量其效果。研究表明，尽管对抗训练是提高白盒场景下的鲁棒性的有效方法，但对于更现实的基于决策的黑盒攻击，则可能无法提供如此良好的鲁棒性增益。此外，即使是最小的扰动白盒攻击也可以比常规攻击更快地针对对抗训练过的神经网络收敛。

    Jul, 2021

  • 深度神经网络对抗鲁棒性正则化的研究

    本文研究了神经网络建模的正则化视角，通过将模型向分类决策边界的平滑变化进行防御，使其尽可能不改变预测结果，但会导致预测结果的置信度下降，这种正则化方法要避免性能下降。

    Nov, 2020

  • 曲率正则化带来的鲁棒性及其相反情况

    本文研究了对抗训练对分类景观和决策边界几何形态的影响，展示了对抗训练导致的输入空间曲率减少及网络更 “线性” 行为的结果。我们提出一个直接最小化损失面曲率的新的规则化方法，并提供了理论上的证据表明大鲁棒性与小曲率之间存在强关联。

    Nov, 2018

  • 对抗训练的分割原则

    对抗性示例的存在揭示了深度神经网络的基本弱点。我们的主要贡献是一种通用方法，使分类器具有显着的鲁棒性，而其自然准确性的降低仅仅是微小或可忽略的。

    Oct, 2023

  • 风格化对抗防御

    利用目标样本的样式和内容信息以及其类边界信息创建对抗性扰动，将其应用于多任务目标并进行深度监督，提取多尺度特征知识以创建最大分离对手，随后提出最大间隔对抗训练方法，最小化源图像与其对手之间的距离，并最大化对手和目标图像之间的距离，证明与最先进的防御相比，我们提出的对抗训练方法表现出强大的鲁棒性，对自然出现的损坏和数据分布变化具有良好的泛化能力，并保留了模型在干净样本上的准确性。

    Jul, 2020

  • 对抗训练在对抗鲁棒性方面的最新进展

    该研究论文系统地回顾了针对深度学习模型的对抗训练在对抗鲁棒性方面的最新进展，并从三个视角讨论了对抗训练中的泛化问题，同时指出了尚未完全解决的挑战并提出潜在的未来研究方向。

    Feb, 2021

  • 大规模对抗训练的有趣特性

    通过研究对抗训练的诊断要素，本文发现了两个有趣的性质：一是在对抗训练中批量归一化可能会阻碍网络获得强鲁棒性，而分别对训练集中的干净图片和对抗图片进行归一化可以提高鲁棒性；二是相较于传统分类任务，对抗学习对更深的网络层级有更高的需求，这一点可以通过增加网络容量来实现。

    Jun, 2019

  • 局部线性化对抗鲁棒性

    本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。

    Jul, 2019