Sep, 2023

减少梯度逼近的对抗训练成本

PDF
TL;DR采用梯度逼近的对抗训练方法能够减少建立稳健模型的成本，而对于常见数据集如 MNIST、CIFAR-10 和 CIFAR-100，该方法在训练时间上节省了高达 60% 的时间，并且在模型测试准确性上没有明显损失。
deep learning modelsadversarial examplesprojected gradient descentadversarial traininggradient approximation
发现论文，激发创造
  • 集成对抗攻击的高效项目梯度下降

    本文介绍了对抗性样本攻击中的两种方法：PGD 方法和 C&W 方法，针对集成模型的攻击，主张使用改进型 PGD 方法达到更高的攻击效率。

    Jun, 2019

  • 分布式对抗攻击

    本文提出了一种解决最优对抗数据分布的方法 —— 分布式对抗攻击（DAA），通过在潜在数据分布空间上进行优化，使攻击样本具有更好的泛化性，实验表明其在对抗训练的模型上的攻击效果优于其他对抗攻击方法。

    Aug, 2018

  • 增强扩散以提高强健性泛化能力

    本文提出了一种名为 Diffusion Enhanced Adversarial Training (DEAT) 的新方法，以改善 Adversarial Training 中的 generalization 问题，理论上证明了 DEAT 比主要 AT 框架 ——Projected Gradient Descent Adversarial Training (PGD-AT) 更紧密的泛化界限，并通过广泛的实证调查证实了 DEAT 的优越性。

    Jun, 2023

  • 引导式对抗攻击：评估和增强对抗防御

    本文提出了 Guided Adversarial Margin Attack (GAMA)，该攻击能够更有效地指导对抗样本的生成；同时，使用所提出的松弛项进行对抗训练，可以提高单步防御的效果，从而达到了最先进的性能水平。

    Nov, 2020

  • 仅需简单微调：通过对抗微调实现鲁棒深度学习

    本研究提出了一种基于缓慢上升和快速下降型学习率调度策略的对抗微调方法，该方法通过有效的学习率调度策略显著降低了计算成本，同时提高了深度神经网络的准确性和鲁棒性。 实验结果表明，该方法在 CIFAR-10，CIFAR-100 和 ImageNet 数据集上优于先前的最先进方法，同时将计算成本降低了 8-10 倍，并能够改善任何经过预训练的深度神经网络的鲁棒性，而无需从头开始训练模型。

    Dec, 2020

  • FGSM 和 PGD 对抗训练之间性能差距的缩小

    该研究利用弯曲正则化方法，将快速梯度符号方法（FGSM）扩展为可实现 adversarial robustness，并比 adversarial projected gradient decent 攻击方法（PGD）具有更高的训练效率。在 MNIST 数据集白盒攻击下，表现与 adv.PGD 相当，在 CIFAR-10 数据集转移攻击上表现更好。

    Nov, 2020

  • 基于扩散的对抗样本生成技术，改善隐蔽性和可控性

    该论文提出了一种名为 Diff-PGD 的新框架，用于生成逼真的对抗样本，并通过使用扩散模型引导梯度，确保对抗样本保持靠近原始数据分布同时保持其有效性，证明使用 Diff-PGD 生成的样本具有更好的可转移性和抗净化能力。

    May, 2023

  • 快速优于免费：再探对抗训练

    通过使用快速梯度符号方法（FGSM）来作为对抗样本的构造方法，使得对抗训练的代价不比标准训练更高，而且 FGSM 对抗训练与 PGD 对抗训练效果相当。最后，我们还研究了 FGSM 对抗训练的 “灾难性过拟合” 失败模式。

    Jan, 2020

  • 一种基于 PGD 的对抗性测试的替代代理损失函数

    本研究介绍了一种新型的对抗性测试方法，称为 MultiTargeted，可以搜索引起神经网络输入错误的边界扰动，相较于其他方法，其需要迭代次数更少，且在 MNIST 和 CIFAR-10 中达到了最佳性能。

    Oct, 2019

  • 通过 Taylor 展开的随机对抗训练

    在此研究中，通过将随机噪声添加到确定性权重中，基于 Taylor 展开设计了一种新的对抗训练方法，可以调和抗干扰性和准确性之间的权衡，同时提高两者的表现。

    Mar, 2023