Jul, 2022

选择性输入梯度正则化的雅可比范数用于改进和解释可行对抗防御

PDF
TL;DR本文提出了一种基于 Jacobian 规范和选择性输入梯度正则化（J-SIGR）的新方法，从 Jacobian 规范的线性化健壮性建议，并控制基于扰动的显著性图以模仿模型的可解释预测，这既实现了改进的防御又实现了 DNN 的高可解释性。
deep neural networksadversarial trainingperturbationsinterpretable predictionsj-sigr
发现论文，激发创造
  • 利用雅可比正则化提高 DNN 对对抗攻击的鲁棒性

    该研究提出了一种基于 Frobenius 规范化 Jacobian 矩阵的网络后处理方法，以提高深度神经网络的鲁棒性，从而改善其对抗攻击的表现，同时对网络准确性的影响也很小。

    Mar, 2018

  • 雅可比对抗正则化网络的鲁棒性

    本文提出 Jacobian Adversarially Regularized Networks（JARN）方法，训练图像分类器，通过对抗正则化模型来优化分类器的 Jacobian，从而提高模型的鲁棒性。与标准模型相比，使用 JARN 训练的图像分类器在 MNIST，SVHN 和 CIFAR-10 数据集上表现出更优的鲁棒性，揭示了一种不使用对抗性训练示例提高模型鲁棒性的新方法。

    Dec, 2019

  • 通过约束输入渐变来提高深度神经网络的对抗鲁棒性和可解释性

    本研究评估了不同防御机制对神经网络的有效性，发现使用输入梯度规则化训练的神经网络具有抵御小幅度扰动的鲁棒性，并且可以提高预测的可解释性。同时，对这种神经网络产生的误分类可以解释，并进一步讨论了深度神经网络中解释性和鲁棒性之间的关系。

    Nov, 2017

  • 基于范数正则化的结构化梯度解释方法

    通过对简单梯度方案进行稀疏性及连接性调整，采用对抗训练作为一种内部处理方案，设计并展示了基于正则化的对抗训练方法对标准神经网络架构在基准图像数据集上的梯度图产生的影响。

    Apr, 2024

  • 对抗鲁棒性和可解释性的二阶优化

    提出了一种使用二次近似的拟合函数的新型规则化器，并通过迭代计算逼近最坏情况二次损失，从而在具有良好的鲁棒性的同时避免了梯度混淆和降低了训练时间。实验证明，该模型产生的人类可解释性特征优于其他几何正则化技术，并且这些鲁棒特征可用于提供人性化的模型预测解释。

    Sep, 2020

  • 梯度规范化提高了判别模型的准确性

    本文发现梯度正规化可以在视觉任务中显著提高分类精度，特别是在训练数据较少的情况下。我们介绍了一种 Jacobian-based 的正规化方法，并在真实和合成数据上进行了实证研究，结果表明学习过程可以控制超出训练点的梯度，并产生良好的泛化能力。

    Dec, 2017

  • 通过正则化对抗梯度实现神经网络的鲁棒训练

    通过限制神经网络的对抗梯度并增加对抗性样本生成的难度，提高了神经网络的鲁棒性，使其能够抵御各种类型的对抗性攻击，特别是迁移攻击。

    May, 2018

  • 通过结构化梯度正则化进行对抗性鲁棒性训练

    本文提出了一种新的数据依赖性结构化梯度正则化器，旨在增加神经网络对抗扰动的鲁棒性，该正则化器可以从第一原理中导出。实验证据表明，结构化梯度正则化是对抗低水平信号污染攻击的有效一线防御。

    May, 2018

  • 使用梯度正则化减少对抗样本的可转移性

    本研究调查了不同模型之间的对抗样本的可传递性，研究表明梯度之间的夹角是影响对抗样本可传递性的根本因素，并给出了一种可以降低模型间对抗样本可传递性的改进简单训练方法。

    Apr, 2019

  • 对抗鲁棒性与梯度可解释性的桥梁

    本文探讨了敌对训练对 DNN 的梯度提升及其可解释性的影响，发现敌对训练能够使得损失梯度更加符合人类感知，且提出了在测试准确性和损失梯度可解释性之间的权衡以及解决方案。

    Mar, 2019