May, 2018

通过结构化梯度正则化进行对抗性鲁棒性训练

PDF
TL;DR本文提出了一种新的数据依赖性结构化梯度正则化器，旨在增加神经网络对抗扰动的鲁棒性，该正则化器可以从第一原理中导出。实验证据表明，结构化梯度正则化是对抗低水平信号污染攻击的有效一线防御。
structured gradient regularizerneural networksadversarial perturbationstraining with noiselow-level signal corruption
发现论文，激发创造
  • 通过正则化对抗梯度实现神经网络的鲁棒训练

    通过限制神经网络的对抗梯度并增加对抗性样本生成的难度，提高了神经网络的鲁棒性，使其能够抵御各种类型的对抗性攻击，特别是迁移攻击。

    May, 2018

  • 局部线性化对抗鲁棒性

    本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。

    Jul, 2019

  • 通过约束输入渐变来提高深度神经网络的对抗鲁棒性和可解释性

    本研究评估了不同防御机制对神经网络的有效性，发现使用输入梯度规则化训练的神经网络具有抵御小幅度扰动的鲁棒性，并且可以提高预测的可解释性。同时，对这种神经网络产生的误分类可以解释，并进一步讨论了深度神经网络中解释性和鲁棒性之间的关系。

    Nov, 2017

  • 利普希茨正则化深度神经网络的泛化性能和防御对抗攻击能力

    本文研究了深度神经网络的输入梯度正则化，并证明了这种正则化可以导致泛化证明和改进的对抗性稳健性。通过将对抗训练与 Lipschitz 正则化相结合，可以使模型更加稳健，并且可以使用图像的梯度范数进行攻击检测。

    Aug, 2018

  • 基于范数正则化的结构化梯度解释方法

    通过对简单梯度方案进行稀疏性及连接性调整，采用对抗训练作为一种内部处理方案，设计并展示了基于正则化的对抗训练方法对标准神经网络架构在基准图像数据集上的梯度图产生的影响。

    Apr, 2024

  • 梯度规范化提高了判别模型的准确性

    本文发现梯度正规化可以在视觉任务中显著提高分类精度，特别是在训练数据较少的情况下。我们介绍了一种 Jacobian-based 的正规化方法，并在真实和合成数据上进行了实证研究，结果表明学习过程可以控制超出训练点的梯度，并产生良好的泛化能力。

    Dec, 2017

  • 单步对抗训练正则化方法

    该论文提出了三种新的正则化方法，用于单步对抗训练，以解决模型的伪鲁棒性问题，并在机器学习、计算机视觉等领域取得与经过复杂多步训练的模型相当的性能。

    Feb, 2020

  • 用于对抗性鲁棒性的可扩展输入梯度正则化

    本文旨在探讨一种对抗性对抗性鲁棒性的梯度正则化方法，其中使用局部梯度信息得出新颖的理论鲁棒性边界，并利用可扩展的输入梯度正则化来训练出具有鲁棒性的 ImageNet 模型，同时实验证明输入梯度正则化与对抗性训练具有相似的训练效果。

    May, 2019

  • 选择性输入梯度正则化的雅可比范数用于改进和解释可行对抗防御

    本文提出了一种基于 Jacobian 规范和选择性输入梯度正则化（J-SIGR）的新方法，从 Jacobian 规范的线性化健壮性建议，并控制基于扰动的显著性图以模仿模型的可解释预测，这既实现了改进的防御又实现了 DNN 的高可解释性。

    Jul, 2022

  • 对抗样本的统一梯度正则化方法族

    本文提出了一种统一框架来构建抵御对抗样本的强大机器学习模型，并通过梯度正则化方法有效地对代价函数的梯度进行惩罚，从而达到鲁棒性的目的。实验证明，该方法在两个基准数据集上达到了最佳精度。

    Nov, 2015